网站中robots文件应该如何设置呢

网站中robots文件是用来管理机器人抓取网站内容的，而robots.txt文件则是放在我们网站根目录下面的一个文本文件，用来规定什么蜘蛛可以抓取什么文件，不可以抓取什么文件。我们通常用robots来告诉搜索引擎，这个目录你可以进，哪个目录你不可以进。

那么robots文件应该怎么设置呢，下面小编就来与大家一起学习下。

我们建议新网站千万不要先把网站文件上传到空间后加个robots.txt，然后填充信息，填充好了才开放抓取。如果可以在本地把长沙网站建设建立好，填充好内容再上传最好，否则上传到空间加robots禁止抓取，等开放抓取的时候，百度蜘蛛很可能又会几个月时间都反应不过来。几个月后网站才被收录，对网站优化的周期影响无疑是巨大的。因此建议大家多多注意robots的设置。