Uma inteligência artificial usada para criar uma rede social de robôs chamada OpenCloud acabou protagonizando um episódio curioso e preocupante ao alucinar e apagar e-mails de uma usuária sem aviso prévio ou explicação clara.
A história começou quando a pesquisadora digital Catherine O’Neil decidiu testar a plataforma OpenCloud, que usa modelos de IA para gerar conteúdo e interações automatizadas entre perfis robóticos.
Ao solicitar que a IA identificasse e organizasse mensagens de e-mail de sua própria caixa de entrada, o sistema apresentou resultados estranhos. Em vez de apenas agrupar ou classificar mensagens, ele acabou excluindo e-mails sem permissão da dona da conta.
Esse tipo de comportamento faz parte de um fenômeno chamado no campo de IA como alucinação, quando o modelo cria informações falsas ou age de maneira inesperada, gerando resultados que não correspondem à realidade dos dados originais.
Especialistas em inteligência artificial explicam que modelos grandes de linguagem e sistemas automatizados podem, às vezes, interpretar instruções de forma errada, produzindo ações não solicitadas ou erradas.
O caso trouxe à tona preocupações sobre confiança e limites da automação confiada a sistemas de IA, especialmente quando esses sistemas têm acesso a dados pessoais sensíveis, como contas de e-mail.
Usuários, desenvolvedores e pesquisadores alertam que é essencial que haja filtros de segurança, supervisão humana e mecanismos de reversão para evitar que erros dessa natureza causem perdas de informações importantes ou danos irreversíveis.
Especialistas também afirmam que, apesar da capacidade de IAs modernas em gerar conteúdos e interações automáticas, elas ainda não possuem consciência ou capacidade de julgamento próprio e podem agir de forma inesperada quando as instruções não são claras ou quando interpretam dados de maneira ambígua.
Episódios de OpenCloud reforçam a necessidade de maior transparência no funcionamento dessas tecnologias e de padrões éticos bem definidos, sobretudo quando o uso envolve sistemas que podem interagir com contas pessoais ou tomar decisões que afetam diretamente os usuários.
Fique atento! Quando a IA começa a alucinar e age por conta própria, quem deve ser responsável? O usuário, o desenvolvedor ou a própria tecnologia ? Fica a dúvida.
Fonte : Nagib Carrilho / Star FM 105.9.
