（单选题）
在robots.txt文件中设置了禁止所有搜索抓取，下列正确选项是？（）
A"User-agent·Allow：/"
B"User-agent·Disallow：/"
C"User-agent：BaiduspiderDisallow：/"
D"User-agent：GooglebotAllow：/"
正确答案
答案解析
略
相似试题
（单选题）
Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）
（单选题）
robots.txt不支持的代码为（）。
（多选题）
robots.txt支持的代码为（）。
（单选题）
robots.txt的作用是（）。
（单选题）
robots.txt不支持的代码为（）
（单选题）
账户中设置了URL转化目标却没有转化数据有可能是以下哪个原因？（）
（单选题）
推广商户在账户层级已经设置了10个220.×.×.×否定IP地址段，该账户只有1个计划，在该计划中设置了另外20个221.×.×.×否定IP地址段，那么该推广商户这个计划最终有多少个IP地址段看不到推广结果呢（）
（单选题）
Robots文件中，以下哪个指令为禁止抓取某些内容？（）
（单选题）
否定关键词可以在以下哪些级别中设置？（）
