1
一行robots.txt拒训,四大AI厂都认
#AI爬虫#robots.txt#出版商#版权#IETF10月30日,OpenAI、Google、Microsoft、Anthropic同时宣布支持同一个robots.txt「政策令牌」:出版商写一行 __usage_ai-training,就能把内容排除出四家的模型训练,不用再对各家爬虫逐个设规则。 细节:提案是Anthropic标准技术主管Kevin Kelley当天
新加坡 10-31 14:25 · 吉隆坡 14:25 · 雅加达 13:25 · 曼谷 13:25 · 马尼拉 14:25 · 胡志明 13:25 · 北京 14:25 · 东京 15:25 · 伦敦 06:25 · 纽约 02:25
#AI爬虫#robots.txt#出版商#版权#IETF10月30日,OpenAI、Google、Microsoft、Anthropic同时宣布支持同一个robots.txt「政策令牌」:出版商写一行 __usage_ai-training,就能把内容排除出四家的模型训练,不用再对各家爬虫逐个设规则。 细节:提案是Anthropic标准技术主管Kevin Kelley当天