Duas organizações nos Países Baixos apresentaram uma ação judicial urgente contra a ferramenta de IA Grok e a plataforma X, alegando que elas permitem gerar e difundir material sexual ilegal, incluindo conteúdo que pode constituir abuso sexual infantil.

A Offlimits, um centro especializado em abuso online, e o Fundo de Ajuda às Vítimas explicaram, em comunicado, que através de funções como "apps de nudez", podem ser criadas imagens realistas usando inteligência artificial (IA) nas quais pessoas, incluindo menores, aparecem parcial ou totalmente nuas sem o seu consentimento.

A versão 4.2 do Grok, lançada na semana passada, permite que os utilizadores criem vídeos completos a partir de uma única fotografia usando IA.

De acordo com as entidades, este tipo de conteúdo viola as leis holandesas e europeias e pode ser passível de punição legal.

O processo exige que o Grok e o X cessem imediatamente as funcionalidades que permitem aos utilizadores "despir" digitalmente pessoas sem o seu consentimento, bem como aquelas que possibilitam a geração de material que possa ser classificado como abuso sexual infantil.

As organizações exigem que, em caso de incumprimento, seja imposta uma multa coercitiva de 100.000 euros por cada dia em que essas funções permanecerem ativas.

A Offlimits alertou para um aumento "explosivo" da violência sexual online, impulsionada por ferramentas de IA.

"Imagens editadas ou criadas por IA estão a ser usadas para assediar, humilhar ou intimidar sexualmente vítimas na Internet", afirmou o diretor executivo, Robbert Hoving,

"Estamos perante um acidente em câmara lenta", afirmou.

Segundo dados citados pelas organizações, um em cada dois jovens nos Países Baixos sofreu alguma forma de intimidação ou abuso sexual na Internet, e dezenas de milhares podem ter sido vítimas de imagens sexualmente explícitas geradas por IA.

Só no último ano, estima-se que o número esteja entre 17.000 e 39.000 jovens entre 12 e 25 anos.

A diretora do Fundo, Ineke Sybesma, afirmou que para as vítimas não há diferença entre uma imagem real e uma gerada por IA, já que "a vergonha é real, as consequências são reais e isso não acaba sozinho, porque a Internet não esquece", indicou.

As funcionalidades oferecidas violam diversas regulamentações, incluindo o direito à privacidade, o Regulamento Geral de Proteção de Dados (RGPD), a Lei de Serviços Digitais [DSA - Digital Services Act], o Código Penal do país e o direito à própria imagem.

Observaram ainda que a jurisprudência europeia exige consentimento demonstrável para a distribuição de material sexual.

A Offlimits argumentou que simplesmente remover o conteúdo posteriormente é insuficiente quando o próprio design da plataforma facilita o abuso.

O caso será julgado por um tribunal em Amesterdão em 12 de março.