La herramienta de video AI de Google amplifica los temores de un aumento en la información errónea | Noticias tecnológicas

En ambos Teherán y Tel AvivLos residentes han enfrentado una mayor ansiedad en los últimos días a medida que la amenaza de ataques de misiles se avecina sobre sus comunidades. Junto con las preocupaciones muy reales por la seguridad física, hay una alarma creciente sobre el papel de la información errónea, particularmente el contenido generado por la inteligencia artificial, en la configuración de la percepción pública.

Geoconfirmed, una plataforma de verificación en línea, tiene informó un aumento en la información errónea generada por IAincluyendo videos fabricados de ataques aéreos que nunca ocurrieron, tanto en Irán como en Israel.

Esto sigue una ola similar de imágenes manipuladas que circularon durante las recientes protestas en Los Ángeles, que fueron provocadas por un Aumento de las redadas de inmigración en la segunda ciudad más poblada de los Estados Unidos.

Los desarrollos son parte de una tendencia más amplia de eventos políticamente cargados que se explotan para difundir narraciones falsas o engañosas.

El lanzamiento de un nuevo producto de IA de una de las compañías tecnológicas más grandes del mundo ha agregado a las preocupaciones de detectar hechos de la ficción.

A fines del mes pasado, la División de Investigación de AI de Google, DeepMind, lanzó VEO 3, una herramienta capaz de generar videos de ocho segundos a partir de indicaciones de texto. El sistema, uno de los más completos actualmente disponibles de forma gratuita, produce imágenes y sonido altamente realistas que pueden ser difíciles para el espectador promedio de distinguir de las imágenes reales.

Para ver exactamente lo que puede hacer, Al Jazeera creó un video falso en minutos utilizando un aviso que representa a un manifestante en Nueva York que afirma que se les paga para asistir, un punto de conversación común que los republicanos históricamente han usado para deslegitimar las protestas, acompañadas de imágenes que parecían mostrar inquietud violentos. El producto final fue casi indistinguible de imágenes auténticas.

Al Jazeera también creó videos que muestran ataques falsos de misiles en Teherán y Tel Aviv usando las indicaciones «Muéstrame un bombardeo en Tel Aviv» y luego un aviso similar para Teherán. Veo 3 dice en su sitio web que bloquea las «solicitudes y resultados nocivos», pero Al Jazeera no tuvo problemas para hacer estos videos falsos.

«Recientemente creé un video completamente sintético de mí mismo hablando en Web Summit usando nada más que una sola fotografía y unos pocos dólares. Endureció a mi propio equipo, colegas de confianza y expertos en seguridad», dijo Ben Colman, CEO de Deepfake Detection Deffender, en una entrevista con Al Jazeera.

«Si puedo hacer esto en minutos, imagine lo que los malos actores motivados ya están haciendo con tiempo y recursos ilimitados».

Agregó: «No nos estamos preparando para una amenaza futura. Ya estamos atrasados ​​en una carrera que comenzó en el momento en que se lanzó Veo 3. Las soluciones robustas existen y funcionan, pero no las que los fabricantes de modelos están ofreciendo como el Be-All, final».

Google dice que está tomando el problema en serio.

«Estamos comprometidos a desarrollar AI de manera responsable, y tenemos políticas claras para proteger a los usuarios de daños y gobernar el uso de nuestras herramientas de IA. Cualquier contenido generado con Google AI incluye una marca de agua Synthid, y también agregamos una marca de agua visible a los videos VEO», dijo un portavoz de la compañía a Al Jazeera.

‘No les importan los clientes’

Sin embargo, los expertos dicen que la herramienta fue lanzada antes de que esas características se implementaran completamente, un movimiento que algunos creen que fue imprudente.

Joshua McKenty, CEO de Deepfake Detection Company PolyGuard, dijo que Google llevó el producto al mercado porque se había quedado atrás de competidores como OpenAi y Microsoft, que han publicado herramientas más fáciles de usar y publicitadas. Google no respondió a estas afirmaciones.

«Google está tratando de ganar una discusión de que su IA es importante cuando han estado perdiendo dramáticamente», dijo McKenty. «Son como el tercer caballo en una carrera de dos caballos. No les importan los clientes. Les importa su propia tecnología brillante».

Ese sentimiento fue resonado por Sukrit Venkatagiri, profesor asistente de ciencias de la computación en Swarthmore College.

«Las empresas están en una visión extraña. Si no desarrolla una IA generativa, se considera que se está quedando atrás y su stock recibe un golpe», dijo. «Pero también tienen la responsabilidad de hacer que estos productos sean seguros cuando se despliegan en el mundo real. No creo que a nadie se preocupe por eso en este momento. Todas estas compañías están poniendo ganancias, o la promesa de ganancias, sobre la seguridad».

La propia investigación de Google, publicada el año pasado, reconoció las poses de IA generativas de amenaza.

«La explosión de métodos generativos basados ​​en IA ha inflamado estas preocupaciones (sobre la información errónea), ya que pueden sintetizar contenido audio y visual altamente realista, así como texto natural y fluido a una escala previamente imposible sin una enorme cantidad de trabajo manual». el estudio leído.

Demis Hassabis, CEO de Google Deepmind, ha advertido durante mucho tiempo a sus colegas en la industria de la IA no priorizar la velocidad sobre la seguridad. «Abogaría de no moverse rápido y romper cosas», dijo a Time en 2023.

Declinó la solicitud de Al Jazeera de una entrevista.

Sin embargo, a pesar de tales advertencias, Google lanzó VEO 3 antes de implementar completamente salvaguardas, lo que llevó a incidentes como el que la Guardia Nacional tuvo que desacreditar en Los Ángeles después de que una cuenta de Tiktok hizo un video falso «Día en la vida» de un soldado que decía que se estaba preparando para el «Gassing de hoy», refiriéndose a la liberación de gases lacrimógenos en los protestadores.

Imitando eventos reales

Las implicaciones de VEO 3 se extienden mucho más allá de las imágenes de protesta. En los días posteriores a su lanzamiento, varios videos fabricados que imitan las transmisiones de noticias reales circularon en las redes sociales, incluido uno de un informe falso sobre un robo en el hogar que incluía gráficos CNN.

Otro clip afirmó falsamente que el yate de JK Rowling se hundió en la costa de Turkiye después de un ataque de Orca, atribuyendo el informe a Alejandra Caraballo de la Clínica Cyberlaw de Harvard Law, quien construyó el video para probar la herramienta.

En una publicación, Caraballo advirtió que dicha tecnología podría engañar a los consumidores de noticias más antiguos en particular.

«Lo que preocupa es lo fácil que es repetir. En diez minutos, tuve varias versiones. Esto hace que sea más difícil detectar y más fácil de extender», escribió. «La falta de un Chyron (banner en una transmisión de noticias) hace que sea trivial agregar uno después del hecho de que parezca un canal de noticias en particular».

En nuestro propio experimento, utilizamos un aviso para crear videos de noticias falsos con los logotipos de ABC y NBC, con voces imitando las de los presentadores de CNN Jake Tapper, Erin Burnett, John Berman y Anderson Cooper.

«Ahora, se está volviendo cada vez más difícil distinguir el hecho de la ficción», dijo Caraballo a Al Jazeera. «Como alguien que ha estado investigando sistemas de IA durante años, incluso estoy empezando a luchar».

Este desafío también se extiende al público. Un estudio por Universidad de Penn State descubrió que 48 El porcentaje de los consumidores fue engañado por videos falsos circulados a través de aplicaciones de mensajería o redes sociales.

Contrario a la creencia popular, Los adultos más jóvenes son más susceptibles a la información errónea que los adultos mayores, en gran parte porque las generaciones más jóvenes dependen de las redes sociales para las noticias, lo que carece de los estándares editoriales y la supervisión legal de las organizaciones de noticias tradicionales.

A Encuesta de la UNESCO de diciembre demostró que el 62 por ciento de los influenciadores de noticias no verifican la información antes de compartirla.

Google no está solo en el desarrollo de herramientas que faciliten la propagación de los medios sintéticos. Empresas como DeepBrain ofrecen a los usuarios la capacidad de crear videos de avatar generados por IA, aunque con limitaciones, ya que no puede producir renders de escena completa como VEO 3. Deepbrain no respondió a la solicitud de comentarios de Al Jazeera. Otras herramientas como Synthesia y Dubverse permiten el doblaje de video, principalmente para la traducción.

Este creciente kit de herramientas ofrece más oportunidades para los actores maliciosos. Un incidente reciente involucró un segmento de noticias fabricado en el que se hizo un reportero de CBS en Dallas para parecer comentarios racistas. El software utilizado permanece no identificado.

CBS News Texas no respondió a una solicitud de comentarios.

A medida que los medios sintéticos se vuelven más frecuentes, plantea riesgos únicos que permitirán a los malos actores impulsar el contenido manipulado que se propaga más rápido de lo que puede corregirse, según Colman.

«Para cuando el contenido falso se extiende a través de plataformas que no verifican estos marcadores (que son la mayoría de ellos), a través de canales que los despojan, o a través de malos actores que han aprendido a falsificarlos, el daño está hecho», dijo Colman.