robots.txt不支持的代码为（）。

robots.txt的作用是（）。

A.禁止搜索引擎蜘蛛抓取特定URL
B.给搜索引擎蜘蛛提供网站地图文件
C.以上都对

点击查看答案&解析

Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com A下所有内容，Robots文件应如何设置？（）

A."User-agent：*Disallow：/A"
B."User-agent：Allow：/A"
C."User-agent：Disallow：/"
D."User-agent：*Allow：/"

点击查看答案&解析