Cloudflare将整顿“网络爬虫”滥抓数据, 呼吁谷歌允许网站屏蔽AI

IT之家7月11日消息，据外媒ArsTechnica今日报道，Cloudflare正采取行动遏制AI网络爬虫无序抓取数据的现象。首席执行官MatthewPrince表示，要取得真正的成效，关键还在于主流AI公司能否参与合作——但他们很可能完全不愿配合。

Cloudflare日前推出了一项新的“按次收费抓取”机制，意在反制从开放网络中源源不断抓取内容、却从未付费的AI公司。Prince指出，这些从网络中攫取价值的公司理应为这项机制提供支持。

他在社交平台X上参与讨论时介绍了这项新举措，并透露谷歌的Gemini网络爬虫已默认被屏蔽。IT之家从报道中获悉，Cloudflare正尝试向谷歌施压，要求其提供一种可行方式，让网站能屏蔽AI功能，同时不影响传统搜索引擎的索引爬虫。

Prince强调，技术上完全可以只屏蔽谷歌的AI爬虫，不妨碍网页被正常收录。他还表示，Cloudflare正在开发相关工具，帮助网站管理者更轻松实现这种区隔。尽管传统内容索引一直是网络的核心，但眼下“零点击互联网”的兴起正在打破这一生态平衡。

Prince表示，新计划的目标是在保障人类用户顺畅访问的同时，有效限制AI的滥用行为。最坏的情况可能需要通过立法，强制要求谷歌等企业将AI网络爬虫与普通搜索引擎分开运作。他指出，这在技术上并不复杂，但仍希望社会能在不借助立法的情况下解决问题。