发现更大的SEO世界
扫一扫，访问微社区
，目前在找工作，北京有SEO岗位的帮忙推荐下&&&&
用robots屏蔽蜘蛛对js或CSS抓取有必要吗
本帖最后由 good7758 于
16:48 编辑
通过网站日志发现，蜘蛛经常会抓取一些js、css文件，和大多数站长一样,我也曾经屏蔽过蜘蛛对这些文件的抓取，因为以前好像国平说过蜘蛛在某个网站的停留时间是有限的，这样可以节省资源，今天看到谷歌官方对这个问题进行了回应。
QQ截图30.png (25.79 KB, 下载次数: 112)
16:40 上传
个人猜想搜索引擎除了通过js或css来了解内容外，还可以检测你是否通过这些来作弊。
我个人认为小型网站没有必要，大网站如果蜘蛛抓取的特别多的话，应该考虑屏蔽。
大家认为有必要对css或者js屏蔽吗？
引用国平的一段话：
至于“解析java文件”，google 爬虫也会去解析java文件的。这是一个像HTTrack这样的通用爬虫都可以做到的事情。可能很多人还不知道，google会去试图解析javascript代码。如果你的页面上放很多javascript代码，就会使爬虫的停留时间增加，进而影响爬虫效率。这也可以算是为什么要把javascript代码外调的另一个原因。
还有，有些javascript代码里面的URL，google爬虫是可以收录的，原因不明。这样做可能是因为有些内容很好的网站，很多链接就是喜欢用javascript来做的缘故吧。但是不代表你的链接可以用javascript来做。&&地址：
，请到设置个人签名&&&&
坐等大神正解
，请到设置个人签名&&&&
我们的网站也有很多蜘蛛抓取css文件之类的
，请到设置个人签名&&&&
之前是把所有js、css放到二级域名下，然后配置该二级域名的robots.txt屏蔽蜘蛛爬取，不过尝试下来，发现确实能减少蜘蛛的一些不必要爬取，但随之页面快照就有很多是样式不对的。
，Google SEO&&&&
这类问题我觉得都属于“矫枉过正”，确实蜘蛛的爬行是有预算的，但是任何一个搜索引擎都不至于笨到无法分辨网页文件和.js这类文件。
不建议放太多.js更多是从页面载入速度来考虑，把精力放在如何加快载入速度，和放在考虑要不要block .js文件，显然前者划算太多。
，目前在找工作，北京有SEO岗位的帮忙推荐下&&&&
这类问题我觉得都属于“矫枉过正”，确实蜘蛛的爬行是有预算的，但是任何一个搜索引擎都不至于笨到无法分辨 ...
嗯，搜索引擎绝对能分辨js和普通网页。HTTrack都能，国平的这篇文章已经很清楚了
论坛相关问题联系邮箱：bbs #我的robots.txt设置了不让蜘蛛爬往我的网站某些目次，怎么还收录的_百度知道
我的robots.txt设置了不让蜘蛛爬往我的网站某些目次，怎么还收录的
感谢： ？这是我的robots.html。请问这写的有题目吗，我设置了不让蜘蛛爬往我的目次下的news&#47，为什么网站仍是收录我的阿谁news&#47， 我不想百度蜘蛛爬往根目次下news目次下html的所有文档;html下的文件呢网站
提问者采纳
news&#47看了你的robots文件，也可以用robots检查工具检查一遍在发上去;前面没有空格，有问题，&#47。以后写的时候一定要小心。
查看原帖&&gt
其他类似问题
为您推荐：
蜘蛛的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁搜索：问题、网站、SEOer人名
新站还没建好，备案已经下来，但暂时不想让蜘蛛抓取，加了禁止抓取的robots。以后再允许抓取，对以后SEO有没有影响？
网站还没有建好，但是备案已经下来，可以通过域名访问。但是我暂时不想让蜘蛛抓取，于是添了robots禁止代码。等网站建好了再允许抓取，这样对以后SEO有没有影响呢？
浏览: 1995发布于:
没有影响，之后记得修改robots.txt
可以做robots，记得网站程序、标签全部调整好了，并且准备稳定更新内容的阶段再放开robots
只要写法没错误 是可以的
尽快处理就行
没有影响，百度蜘蛛会遵守你的协议的。
我这么操作过！没有影响的！
你要注意一点！
千万别上传程序的时候，把robots.txt覆盖掉了！
我的站就是，程序不懂！不robots覆盖了！
我相当无语！然后当天就被抓去了！
然后，又要继续robots！..............................
有影响，时间越长，百度蜘蛛会来的越少，对收录不利。最好本地调试好后再上线。
没有影响的，毕竟新站还没有向百度提交，而且做了robots。不过还是建议在本地调试后在上线。
时间不是太长就OK 太长了肯定不好！
30天内搜外会员都在讨论什么
搜外论坛咨询区版主
SOHO创业者
(7 个回答)
(8 个回答)
(12 个回答)
(18 个回答)
(13 个回答)
(12 个回答)
(9 个回答)
(9 个回答)
(8 个回答)
(0 个回答)
(0 个回答)
(0 个回答)
(0 个回答)
(0 个回答)
(0 个回答)
(0 个回答)
(0 个回答)
始于2007年 深圳市夫唯伙伴信息咨询有限公司 版权所有 | 粤ICP备号 | 粤公网安备0号禁止所有蜘蛛抓取该怎么写robots.txt_百度知道
禁止所有蜘蛛抓取该怎么写robots.txt
禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 参见《百度搜索帮助中心-禁止搜索引擎收录的方法》
其他类似问题
为您推荐：
其他2条回答
禁止所有搜索引擎访问网站的任何部分User-agent: *Disallow: /
User-agent: *Disallow: /
蜘蛛的相关知识
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁}