Cloudflare 宣布推出新设置“Disallow AI Training”，允许管理员继续接受搜索引擎爬取，同时拒绝网站内容用于 AI 训练。苹果、谷歌和微软已承诺遵守该设置。
网站管理员启用该设置后，Cloudflare 仍会允许用于搜索、AI 训练的混合爬虫抓取内容，但前提是系统将其标记为“Accountable”（可问责），其他 AI 训练爬虫仍会被拦截。官方表示，拦截这类爬虫有可能影响网站的搜索排名。
Cloudflare 表示，大多数客户无需进行任何更改：此前在 Training 中选择“Block”或“Block on pages with ads”的网站，会自动迁移至“Disallow AI Training”。
此外，谷歌将在未来几周推出 Google-Extended 的 URL 层级透明度工具，苹果也在开发自己的 URL 层级工具，微软则计划于 2027 年初支持通过 robots.txt 拒绝 AI 训练。
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
