robots.txt是一个网站根目录下的纯文本文件。虽然设置简单，但功能强大。可以指定搜索引擎蜘蛛只抓取指定的内容，也可以禁止搜索引擎蜘蛛抓取网站的部分或全部内容。搜索引擎蜘蛛在抓取网站页面之前，会先看robots.txt的内容，哪些页面可以抓取，哪些页面是站长禁止抓取的。当然，是否遵守robots文件的规则，还要看自我意识。有些坏蜘蛛不服从，站长也别无选择，比如收集内容，克隆网站。
还可以阻止网站内的死链接。阻止搜索引擎蜘蛛抓取站点内的重复内容和页面。防止搜索引擎索引网站隐私内容等。
因此，有必要创建一个robots.txt文件。如果网站中重复的内容、页面或404信息过多，搜索引擎蜘蛛会认为该网站价值低，从而降低网站的“印象分”。这就是我们经常听到的“权重低”，这样网站的排名就不好。
ZBlog的robots内容应该怎么写才好?
| User-agent: * Disallow: /zb_system/ Disallow: search.php Disallow: /zb_users/data/ Disallow: /zb_users/language/ Disallow: /zb_users/logs/ Sitemap:https://www.flml.cc/sitemap.xml |
Disallow为不允许抓取此目录下的所有链接
Sitemap为抓取索引网站的地图文件
希望可以帮助到您!
