Docusaurus添加robots.txt
· One min read
Docusaurus竟然默认没有加robots.txt，赶紧加上。
换了Docusaurus博客之后，觉得很爽，之前加了ms clarity的统计，发现数据一直是在首页，今天访问站点的robots.txt，发现居然没有。
虽然现在的ai爬虫不遵守爬虫协议，但是还是得照顾一下遵守爬虫协议的搜索引擎，赶紧加上。官方robots
robots.txt
User-agent: *
Disallow:
Sitemap: https://tcp.im/sitemap.xml