Publicado em:
June 6, 2024
Publicado por:
Tiago Rosa
Nos últimos três meses, a OpenAI desmantelou cinco operações de influência clandestinas (IO) que tentaram explorar seus modelos para atividades enganosas online. Até maio de 2024, essas campanhas não mostraram um aumento substancial no engajamento ou alcance do público devido aos serviços da OpenAI.
A OpenAI afirma que seu compromisso com a segurança dos modelos de IA frequentemente frustra as tentativas dos agentes de ameaça de gerar conteúdo desejado. Além disso, a empresa diz que as ferramentas de IA aprimoraram a eficiência das investigações da OpenAI. Relatórios detalhados de ameaças por plataformas de distribuição e pela comunidade de código aberto contribuíram significativamente para combater as IOs. A OpenAI compartilha essas descobertas para promover o compartilhamento de informações e melhores práticas entre a comunidade de stakeholders.
Nos últimos três meses, a OpenAI interrompeu várias operações de IO usando seus modelos para várias tarefas, como gerar comentários curtos, criar perfis falsos de mídia social, realizar pesquisas de código aberto, depurar código simples e traduzir textos.
Uma operação da Rússia visando Ucrânia, Moldávia, os Estados Bálticos e os EUA, usando modelos da OpenAI para depurar código de um bot do Telegram e criar comentários políticos em russo e inglês, postados no Telegram.
Outra operação russa gerando comentários em várias línguas em plataformas como X e 9GAG, traduzindo e editando artigos, gerando manchetes e convertendo artigos de notícias em posts no Facebook.
Uma rede chinesa usando modelos da OpenAI para pesquisa de atividade pública nas mídias sociais, gerando textos em vários idiomas e depurando código para gerenciar bancos de dados e sites.
Uma operação iraniana gerando e traduzindo artigos longos, manchetes e tags de sites, publicados em um site vinculado.
Uma empresa comercial em Israel, com operações gerando artigos e comentários postados em várias plataformas, incluindo Instagram, Facebook, X e sites afiliados.
Os conteúdos postados por essas operações focavam em vários tópicos, incluindo a invasão da Ucrânia pela Rússia, o conflito em Gaza, eleições indianas, política europeia e dos EUA e críticas ao governo chinês. Apesar desses esforços, nenhuma dessas operações mostrou um aumento significativo no engajamento do público devido aos modelos da OpenAI.
Investigações sobre essas operações de influência revelaram várias tendências:
Os agentes de ameaça usaram os serviços da OpenAI para gerar grandes volumes de texto com menos erros de linguagem do que os operadores humanos poderiam alcançar sozinhos.
A IA foi usada ao lado de formatos tradicionais, como textos escritos manualmente ou memes copiados.
Algumas redes geraram respostas para seus próprios posts para criar a aparência de engajamento, embora nenhuma tenha conseguido atrair engajamento autêntico.
Os agentes de ameaça usaram a IA para melhorar a produtividade, resumindo posts de mídia social e depurando código.
As investigações da OpenAI se beneficiaram do compartilhamento de informações na indústria e da pesquisa de código aberto. Medidas defensivas incluem:
Os sistemas de segurança da OpenAI impuseram fricção aos agentes de ameaça, frequentemente impedindo-os de gerar o conteúdo desejado.
Ferramentas aprimoradas por IA melhoraram a eficiência da detecção e análise, reduzindo os tempos de investigação de semanas ou meses para dias.
Conteúdos de IO, como conteúdos tradicionais, devem ser distribuídos de forma eficaz para alcançar um público. Apesar de seus esforços, nenhuma das operações interrompidas conseguiu um engajamento substancial.
Compartilhar indicadores de ameaça com colegas da indústria aumentou o impacto das interrupções da OpenAI. A empresa se beneficiou de anos de análise de código aberto pela comunidade de pesquisa mais ampla.
Apesar de usar IA, os agentes de ameaça eram propensos a erros humanos, como publicar mensagens de recusa dos modelos da OpenAI em suas mídias sociais e sites.
A OpenAI afirma que continua dedicada ao desenvolvimento de IA segura e responsável. Isso envolve projetar modelos com a segurança em mente e intervir proativamente contra o uso malicioso. Embora admita que detectar e interromper abusos multiplataforma, como operações de influência clandestina, seja desafiador, a OpenAI está comprometida em mitigar os perigos.
Fonte: Artificial Intelligence News
especialista em Experiência do Usuário com 20 anos de experiência na indústria de varejo e startups. Como fundador e Head of Design e Produto da Mirtilo.co, lidero iniciativas de design, produto e inovação. Sempre focando em estratégias digitais criativas e métodos lean. Possuo certificações em Lean Kanban, Product Owner, Webflow, entre outras. Tenho um histórico comprovado de criação de produtos digitais em empresas como Locaweb, GetNinjas, Grupo Bandeirantes, Leroy Merlin e Grupo ADEO.
