La IA generativa tiene una gran cantidad de usos indebidos bien documentados, desde la invención de artículos académicos hasta artistas copiadores. Y ahora parece estar surgiendo en las operaciones de influencia del Estado.
Una campaña reciente fue «muy probablemente» ayudada por productos comerciales de generación de voz de IA, incluida la tecnología lanzada públicamente por la startup ElevenLabs, según un informe. informe reciente de la empresa de inteligencia sobre amenazas Recorded Future, con sede en Massachusetts.
El informe describe una campaña vinculada a Rusia diseñada para socavar el apoyo de Europa a Ucrania, denominada “Operación Socavado”, que utilizó de manera prominente voces en off generadas por IA en videos de “noticias” falsos o engañosos.
Los vídeos, dirigidos a audiencias europeas, atacaban a los políticos ucranianos como corruptos o cuestionaban la utilidad de la ayuda militar a Ucrania, entre otros temas. Por ejemplo, un vídeo promocionaba que “ni siquiera los bloqueadores pueden salvar los tanques Abrams estadounidenses”, refiriéndose a los dispositivos utilizados por los tanques estadounidenses para desviar los misiles entrantes, lo que refuerza el argumento de que enviar blindados de alta tecnología a Ucrania no tiene sentido.
El informe afirma que los creadores del vídeo «muy probablemente» utilizaron inteligencia artificial generada por voz, incluida la tecnología de ElevenLabs, para que su contenido pareciera más legítimo. Para verificar esto, los investigadores de Recorded Future enviaron los clips al propio ElevenLabs. Clasificador de voz AI, que brinda la posibilidad de que cualquiera pueda «detectar si un clip de audio se creó con ElevenLabs» y obtener una coincidencia.
ElevenLabs no respondió a las solicitudes de comentarios. Aunque Recorded Future señaló el probable uso de varias herramientas comerciales de generación de voz con IA, no nombró ninguna otra además de ElevenLabs.
La utilidad de la generación de voz mediante IA fue mostrada inadvertidamente por los propios orquestadores de la campaña de influencia, quienes, de manera bastante descuidada, publicaron algunos videos con voces en off humanas reales que tenían «un acento ruso discernible». Por el contrario, las voces en off generadas por IA hablaban en varios idiomas europeos, como inglés, francés, alemán y polaco, sin acentos extranjeros.
Según Recorded Future, la IA también permitió que los clips engañosos se publicaran rápidamente en varios idiomas hablados en Europa, como inglés, alemán, francés, polaco y turco (por cierto, todos los idiomas apoyado por ElevenLabs.)
Recorded Future atribuyó la actividad a la Social Design Agency, una organización con sede en Rusia que el gobierno de Estados Unidos sancionado en marzo por administrar “una red de más de 60 sitios web que se hacían pasar por organizaciones de noticias genuinas en Europa y luego usaban cuentas falsas de redes sociales para amplificar el contenido engañoso de los sitios web falsificados”. Todo esto se hizo “en nombre del Gobierno de la Federación Rusa”, dijo en ese momento el Departamento de Estado de Estados Unidos.
El impacto general de la campaña en la opinión pública en Europa fue mínimo, concluyó Recorded Future.
Esta no es la primera vez que los productos de ElevenLabs son señalados por presunto uso indebido. La tecnología de la compañía estuvo detrás de una llamada automática que se hacía pasar por el presidente Joe Biden y que instaba a los votantes a no salir a votar durante las elecciones primarias en enero de 2024, concluyó una empresa de detección de fraude de voz. según Bloomberg. En respuesta, ElevenLabs dijo que lanzó nuevas funciones de seguridad, como bloquear automáticamente las voces de los políticos.
oncelabs prohibiciones “suplantación de identidad no autorizada, dañina o engañosa” y dice Utiliza varias herramientas para hacer cumplir esto, como la moderación tanto automatizada como humana.
ElevenLabs ha experimentado un crecimiento explosivo desde su fundación en 2022. Recientemente aumentó su ARR a 80 millones de dólares desde 25 millones de dólares menos que un año antes, y pronto podría estar valorado en 3 mil millones de dólares, informó anteriormente TechCrunch. Entre sus inversores se encuentran Andreessen Horowitz y el ex director ejecutivo de Github, Nat Friedman.
