（单选题）
robots.txt不支持的代码为（）
AAllow
BDisallow
CCrawl-delay
Dnoindex
正确答案
答案解析
略
相似试题
（单选题）
robots.txt不支持的代码为（）。
（多选题）
robots.txt支持的代码为（）。
（单选题）
robots.txt的作用是（）。
（单选题）
在robots.txt文件中设置了禁止所有搜索抓取，下列正确选项是？（）
（单选题）
Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）
（单选题）
百度目前暂不抓取或不能很好的抓取的代码不包括：（）
（多选题）
批量工具支持的文件格式不包括：（）
（单选题）
批量工具支持的文件格式为：（）
（判断题）
为了统计在http和https两种不同协议下运行的页面，需要为每种协议独立安装各自适用版本的追踪代码
