（单选题）

Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）

A"User-agent：*Disallow：/A"

B"User-agent：Allow：/A"

C"User-agent：Disallow：/"

D"User-agent：*Allow：/"

正确答案

来源：www.examk.com

答案解析

略

相似试题

（单选题）
在robots.txt文件中设置了禁止所有搜索抓取，下列正确选项是？（）
答案解析
（单选题）
robots.txt的作用是（）。
答案解析
（单选题）
robots.txt不支持的代码为（）。
答案解析
（多选题）
robots.txt支持的代码为（）。
答案解析
（单选题）
robots.txt不支持的代码为（）
答案解析
（单选题）
搜索引擎的抓取顺序是（）
答案解析
（单选题）
以下哪个标签是禁止搜索引擎抓取？（）
答案解析
（单选题）
下面哪个HTTP状态码是搜索引擎返回的抓取正常的状态码（）
答案解析
（单选题）
下列哪能禁止搜索引擎抓取网站内容？（）
答案解析

快考试在线搜题