4998人阅读
solrUrl is not set, indexing will be skipped...
crawl started in: crwal
rootUrlDir = urls
threads = 10
solrUrl=null
Injector: starting at
Injector: crawlDb: crwal/crawldb
Injector: urlDir: urls
Injector: Converting injected urls to crawl db entries.
Exception in thread &main& java.io.IOException: Job failed!
&& &at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1265)
&& &at org.apache.nutch.crawl.Injector.inject(Injector.java:217)
&& &at org.apache.nutch.crawl.Crawl.run(Crawl.java:127)
&& &at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
&& &at org.apache.nutch.crawl.Crawl.main(Crawl.java:55)
: Error in configuring object
&&& atorg.apache.hadoop.util.ReflectionUtils.setJobConf()
&&& atorg.apache.hadoop.util.ReflectionUtils.setConf()
&&& atorg.apache.hadoop.util.ReflectionUtils.newInstance()
&&& atorg.apache.hadoop.mapred.MapTask.runOldMapper()
&&& atorg.apache.hadoop.mapred.MapTask.run()
&&& atorg.apache.hadoop.mapred.LocalJobRunner$Job.run()
Caused by:
&&& atsun.reflect.NativeMethodAccessorImpl.invoke0()
&&& atsun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
&&& atsun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
&&& atjava.lang.reflect.Method.invoke(Unknown Source)
&&& atorg.apache.hadoop.util.ReflectionUtils.setJobConf()
&&& ...5 more
Caused by: : Error in configuring object
&&& atorg.apache.hadoop.util.ReflectionUtils.setJobConf()
&&& atorg.apache.hadoop.util.ReflectionUtils.setConf()
&&& atorg.apache.hadoop.util.ReflectionUtils.newInstance()
&&& atorg.apache.hadoop.mapred.MapRunner.configure()
&&& ...10 more
Caused by:
&&& atsun.reflect.NativeMethodAccessorImpl.invoke0()
&&& atsun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
&&& atsun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
&&& atjava.lang.reflect.Method.invoke(Unknown Source)
&&& atorg.apache.hadoop.util.ReflectionUtils.setJobConf()
&&& ...13 more
Caused by: : plugin.folders is not defined
&&& atorg.apache.nutch.plugin.PluginManifestParser.parsePluginFolder()
&&& atorg.apache.nutch.plugin.PluginRepository.&init&()
&&& atorg.apache.nutch.plugin.PluginRepository.get()
&&& atorg.apache.nutch.net.URLNormalizers.&init&()
&&& atorg.apache.nutch.crawl.Injector$InjectMapper.configure()
&&& ...18 more
12/04/20 10:14:44 INFOmapred.JobClient:&
map 0% reduce 0%
12/04/20 10:14:44 INFOmapred.JobClient: Job complete: job_local_0001
12/04/20 10:14:44 INFOmapred.JobClient: Counters: 0
Exception in thread&main& : Job failed!
&&& atorg.apache.hadoop.mapred.JobClient.runJob()
&&& atorg.apache.nutch.crawl.Injector.inject()
&&& atorg.apache.nutch.crawl.Crawl.run()
&&& atorg.apache.hadoop.util.ToolRunner.run()
&&& atorg.apache.nutch.crawl.Crawl.main()
首先不要怪我贴了这么多的错误信息，只是为了让大家更容易找到这里而已。
解决这个问题就是将nutch-default.xml中的
&property&
& &name&plugin.folders&/name&
& &value&./src/plugin&/value&
& &description&Directories where nutch plugins are located.& Each
& element may be a relative or absolute path.& If absolute, it is used
& as is.& If relative, it is searched for on the classpath.&/description&
&/property&
红色处改一下就可以了。
祝大家好运哦！
补充一下将nutch运行在eclipse上的步骤，搞了一天才搞通，不过要谢谢北北同学。哈哈
http://wiki.apache.org/nutch/RunNutchInEclipse& 英语权威 处
做好准备工作
<span style="color:#、安装subeclpse插件,安装ivyDE插件，安装maven插件
<span style="color:#、check出代码
<span style="color:#、删除src,然后将src/bin,src/java,src/test,src/testsource,src/plugin/xx/src/java,src/plugin/xx/src/test作为folder
<span style="color:#、加上两jar包，看英文能看懂的
<span style="color:#、在libraries分页上，右边点击Add Class Floder 选中nutch的conf.
<span style="color:#、还是在libraries分页上，右击Add Library & IvyDE Managed Dependencies & 选ivy/ivy.xml
<span style="color:#、build.xml----ant一下
<span style="color:#、刷新一下nutch工程，在conf下增加了nutch-site.xml,regex-urlfilter.xml,配置内容
<span style="color:#、在nutch-default.xml中修改
&property&
& &name&plugin.folders&/name&
& &value&./src/plugin&/value&
& &description&Directories where nutch plugins are located.& Each
& element may be a relative or absolute path.& If absolute, it is used
& as is.& If relative, it is searched for on the classpath.&/description&
&/property&
<span style="color:#、在根目录下建一个文件夹urls，文件夹下seed.txt，seed.txt中写要抓取页面的网址
<span style="color:#、build.xml 再次编译（ant）
<span style="color:#、执行
版权声明：本文为博主原创文章，未经博主允许不得转载。
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：310889次
积分：4478
积分：4478
排名：第3141名
原创：143篇
转载：32篇
评论：56条
(2)(2)(1)(6)(5)(3)(1)(4)(2)(2)(2)(1)(3)(2)(1)(1)(2)(5)(1)(2)(2)(5)(6)(9)(7)(1)(12)(10)(7)(12)(19)(8)(2)(22)(4)(1)nutch配置时提示下面错误，不知道怎么回事？求解救_百度知道
这种情况与软件、硬件都可能有关。与软件的关系主要是：应用程序本身出现问题，这种问题也许是程序员编程问题或被病毒感染问题，你运行该程序时出现问题说明就是这个程序有瑕疵或被病毒感染。如以下情况：1、驱动不稳定，与系统不兼容；2、系统安装了一个或者多个流氓软件；3、系统加载的程序或者系统正在运行的程序之间有冲突，尤其是部分杀毒软件监控程序；4、系统本身存在漏洞；5、病毒问题；6、如果在玩游戏时候出现内存不能为 Read，则很大可能是显卡驱动不适合（这里的不适合有不适合该游戏、不适合电脑的显卡）；7、部分软件本身自身不足的问题；二是与内存有关。内存坏、兼容性不好、运行期间过热或接触不良都有可能出现这种问题。鉴于此，可采取如下办法：从软件方面考虑：一是注册DLL动态链接库文件，解决应用程序（含驱动程序）与系统不兼容的问题。开始——运行，输入cmd 回车在命令提示符下输入 ：for %1 in (%windir%&#92;system32&#92;*.dll) do regsvr32.exe /s %1二是在控制面板的添加/删除程序中看看你是否安装了微软NET.Framework，如果已经安装了，可以考虑卸载它，当然如果你以后在其它程序需要NET.Framework时候，可以再重新安装。 另外，如果你用的是ATI显卡并且你用的是SP2的补丁（一些ATI的显卡驱动需要在NET.Framework正常工作的环境下）。这种情况你可以找一款不需要NET.Framework支持的ATI显卡驱动。三是用一下“IE修复”软件修复一下IE浏览器。四是安全模式下全盘杀毒。五是给系统打补丁。以上方法不解决问题话，可以从硬件方面考虑：将内存插拔一下、换个插槽、或更换内存。祝好运！
其他类似问题
为您推荐：
nutch的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁你好，我也遇到了你一月回答的问题：使用Nutch能抓取针对性的内容吗_百度知道
你好，我也遇到了你一月回答的问题：使用Nutch能抓取针对性的内容吗
我按你的步骤添加了你的那段代码，ant了nutch后这段代码报错，你提到建议用Jsoup，可以说下怎么用吗？谢谢
补充我用的是nutch1.3，报错以下几类错误：F:&#92;nutch-1.3&#92;src&#92;plugin&#92;parse-html&#92;src&#92;java&#92;org&#92;apache&#92;nutch&#92;parse&#92;hser.java:221: 错误: 找不到符号
BufferedReader isr = new BufferedReader(newInputStreamReader(inptream(),&utf-8&));
方法 newInputStreamReader(InputStream,String)
位置: 类 HtmlParser F:&#92;nutch-1.3&#92;src&#92;plugin&#92;parse-html&#92;src&#92;java&#92;org&#92;apache&#92;nutch&#92;parse&#92;hser.java:239: 错误: Parser是抽象的; 无法实例化
Parser p = new Parser(str);
我有更好的答案
是你看撒好的话都很好
其他类似问题
为您推荐：
nutch的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁nutch2.2.1 hadoop 环境 报错
[问题点数：100分，结帖人tianjintd2008]
nutch2.2.1 hadoop 环境 报错
[问题点数：100分，结帖人tianjintd2008]
不显示删除回复
显示所有回复
显示星级回复
显示得分回复
只显示楼主
相关推荐：
匿名用户不能发表回复！|
每天回帖即可获得10分可用分！小技巧：
你还可以输入10000个字符
(Ctrl+Enter)
请遵守CSDN，不得违反国家法律法规。
转载文章请注明出自“CSDN（www.csdn.net）”。如是商业用途请联系原作者。}