robots禁止访问那些目录

你对这个回答的评价是

Robots.txt是个纯文本文件，当一个搜索robot访问一个站点时他首先爬行来检查该站点根目录下是否存在robot.txt，如果存在根據文件内容来确定访问范围，如果没有（为Null）搜索robot就沿着链接抓取。

这个我知道 我是想知道这个robot.txt里面的这句#global是robot什么意思中文思
以前做嘚robot.txt都没有见过这句。

你对这个回答的评价是