Gigantes de IA prometem facilitar bloqueio de scraping

Gigantes de inteligência artificial disseram que vão adotar um novo padrão para governar permissões de "raspagem de dados" (jargão para quando uma organização pega dados de um website).

Esse padrão deve permitir que os sites adotem configurações de permissão ou bloqueio mais facilmente para muitos agentes de IA, em vez de ter que bloquear um por um.

Segundo o Search Engine Roundtable:

O Google também anunciou, assim como Bing, OpenAI e Anthropic, que planeja adotar voluntariamente uma proposta sob consideração na IETF, o órgão global de padronização da internet, que criaria um controle simples e simplificado de treinamento de IA para editoras web e criadores.

Essas configurações ainda vão ser colocadas dentro do arquivo robots.txt que os sites podem ter para declarar suas diretivas. A iniciativa faz parte do Internet Engineering Task Force (IETF).

Segundo o The Verge:

O anúncio acontece em um momento no qual publicações enfrentam o fluxo contínuo de rastreadores de IA extraindo dados de seus sites e alimentando seu conteúdo em modelos de IA. Algumas empresas e organizações tentaram combater raspagem não autorizada, com o padrão Really Simple Licensing (RSL) fornecendo aos editores a capacidade de cobrar rastreadores que visitam seus sites, e Cloudflare bloqueando rastreadores de IA por padrão.

Via Search Engine Roundtable e The Verge