1
一行robots.txt拒训,四大AI厂都认
#AI爬虫#robots.txt#出版商#版权#IETF10月30日,OpenAI、Google、Microsoft、Anthropic同时宣布支持同一个robots.txt「政策令牌」:出版商写一行 __usage_ai-training,就能把内容排除出四家的模型训练,不用再对各家爬虫逐个设规则。 细节:提案是Anthropic标准技术主管Kevin Kelley当天
新加坡 10-31 14:24 · 吉隆坡 14:24 · 雅加达 13:24 · 曼谷 13:24 · 马尼拉 14:24 · 胡志明 13:24 · 北京 14:24 · 东京 15:24 · 伦敦 06:24 · 纽约 02:24
#AI爬虫#robots.txt#出版商#版权#IETF10月30日,OpenAI、Google、Microsoft、Anthropic同时宣布支持同一个robots.txt「政策令牌」:出版商写一行 __usage_ai-training,就能把内容排除出四家的模型训练,不用再对各家爬虫逐个设规则。 细节:提案是Anthropic标准技术主管Kevin Kelley当天