Aplicação da Eleven Labs foi lançada há alguns dias, mas fóruns de extrema-direita já a aplicam na criação de falsos áudios
Em mais uma instância que prova que nós não podemos ter coisas bacanas, uma ferramenta de sintetização de voz via IA da Eleven Labs vem sendo usada por extremistas para criar falsos clipes de áudio envolvendo celebridades. A própria empresa, que lançou a ferramenta somente há alguns dias, denunciou o caso no Twitter (via Motherboard).
A ferramenta em si tem um propósito simples: criar clipes de voz a partir de materiais digitados em um editor de texto. Evidentemente, a parte de inteligência artificial (IA) vem na capacidade que a aplicação tem de “clonar” vozes reconhecidas – e é nisso que os cantos menos incautos da internet vêm aproveitando.
Segundo as informações relatadas, fóruns como o 4Chan começaram a compartilhar clipes falsos de áudio com falas racistas, homofóbicas, transfóbicas e misóginas – algumas, com ameaças bem diretas e sugestão de crimes – atribuindo o material a personalidades como a atriz Emma Watson.
Crazy weekend - thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!
A atriz britânica, conhecida
pelo seu papel como Hermione Granger na franquia Harry Potter
e por ser ampla defensora dos direitos humanos e embaixadora do tema na
ONU, apareceu nos fóruns como se estivesse recitando uma parte do livro
Mein Kampf, autorado pelo líder nazista Adolf Hitler, morto na Segunda Guerra Mundial
Noutro clipe, uma pessoa afirma que
“direitos de pessoas trans são direitos humanos”, mas o som sai como se
ela estivesse sendo estrangulada. Num terceiro arquivo, sobrou até para
Rick Sanchez, do desenho Rick and Morty: o cientista louco da animação promete espancar a esposa até a morte.
Não está claro ainda se todos os clipes de áudio identificados usaram a ferramenta de voz via IA da Eleven Labs, mas a maior parte dos links da thread – a qual não vamos linkar aqui – apontava para a página de testes da startup, que foi fundada por ex funcionários do Google e da Palantir.
Our current ideas:
(1) Additional account verifications to enable Voice Cloning: such as payment info or even full ID verification
(2) Verifying copyright to the voice by submitting sample with prompted text
(3) Drop Voice Lab altogether and manually verify each Cloning Request
A situação é bastante similar ao que
vimos há alguns anos, quando ferramentas similares atribuíram ao
ex-presidente dos EUA, Barack Obama, falas racistas e problemáticas. Ou
ainda quando outras aplicações atuaram de forma similar, mas voltadas à
geração de imagens, o que levou à proliferação de falsa pornografia com
atrizes de Hollywood.
Ainda de acordo com seu perfil no
Twitter, a Eleven Labs está estudando formas de coibir esse tipo de
prática com a sua ferramenta. Uma das ideias flutuadas pela empresa é a
de exigir que o usuário que acesse o teste da aplicação forneça algum
tipo de informação que lhe identifique – como alguma forma de pagamento
ou imagem de documento oficial.
Entretanto, a empresa não descarta
abandonar a ferramenta de IA por voz por completo e trabalhar esta parte
do negócio em um formato exclusivamente sob encomenda.
E aí, o que achou? Aproveite para acompanhar o Portal Vovo GaTu no Twitter [1] [2], Instagram, Facebook, TikTok, Koo App e no Youtube!
Continue acompanhando o Portal Vovo GaTu
para ficar por dentro de outros conteúdos de entretenimento!
--------------------------------------------------------------------------------------
Enfim, gosta do Portal Vovo GaTu😍? Siga-nos nas redes sociais.
Fique por dentro das noticias, e nao perca nada!😄 Contamos consigo!
Herley costa: Me siga nas redes sociais
