robots.txt怎么写？教你这样打开其它网站直接抄
IT技术 9
很多新手站长不知道robots.txt文件怎么写，然后网上搜到的很多都不咋靠谱。
简单，简单，直接抄就完事了。
我们知道robots.txt文件都是放在根目录的，所以直接在任意网站后加/robots.txt就可以看了。
比如我们看哔哩哔哩的，地址就是：
https://www.bilibili.com/robots.txt
再看看小红书的，地址是：
https://www.xiaohongshu.com/robots.txt
哔哩哔哩是允许大多数搜索引擎蜘蛛爬，不允许其它爬虫爬
小红书的是不允许任何蜘蛛爬，并且强调了搜索引擎的蜘蛛不允许爬。
我们做网站，一般是允许搜素引擎爬，不允许其它爬虫爬，尤其是AI爬虫，直接会把服务器爬崩溃。
超全各种版本robots.txt下载：https://blog.gua5.com/buou/152