（简答题）

什么是robots.txt？

正确答案

是搜索引擎中访问网站的时候要查看的第一个文件。当蜘蛛访问站点时，它会首先检查站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

答案解析

略

相似试题

（单选题）
Robots.txt有什么作用（）
答案解析
（简答题）
你怎样使用robots.txt？
答案解析
（单选题）
robots.txt不支持的代码为（）
答案解析
（简答题）
什么是SEO？SEO能为你带来什么？
答案解析
（简答题）
什么是原创文章，对于搜索引擎有什么好处？
答案解析
（名词解析）
什么是超链接
答案解析
（简答题）
什么是google沙盒？
答案解析
（简答题）
什么是网页信噪比？
答案解析
（简答题）
什么是搜索引擎的相关搜索？
答案解析

快考试在线搜题