El nuevo modelo de personaje. AI genera videos interactivos usando imagen y audio
¿Cuál es la historia?
Personaje.ai, un GoogleLa puesta en marcha de propiedad de propiedad, ha lanzado un modelo de IA de vanguardia llamado TalkingMachines. La tecnología innovadora permite a los usuarios generar videos interactivos simplemente proporcionando una imagen y entrada de audio. La nueva característica funciona con un transformador de difusión (DIT), que emplea la destilación de conocimiento asimétrico para convertir modelos de video bidireccionales de alta calidad en generadores rápidos en tiempo real.
Avance tecnológico
Cómo funciona el modelo de TalkingMachines
El modelo TalkingMachines escucha audio y anima partes de la cara de un personaje, como la boca, la cabeza y los ojos. Esto se hace sincronizado con cada palabra, pausa y entonación. El personaje.Ai está utilizando un módulo de audio de parámetro 1.2b personalizado para la voz, capaz de capturar el habla y el silencio. La compañía afirma que este nuevo modelo puede generar videos de alta calidad sin comprometer la consistencia o la calidad de la imagen. Apoya una variedad de estilos, desde humanos fotorrealistas hasta personajes de anime y avatares 3D.
Protección del usuario
Función de llamadas para conversaciones de voz
En respuesta a las críticas pasadas sobre la seguridad del usuario, el carácter. AI ha introducido nuevas herramientas de supervisión para proteger a los usuarios menores de 18 años. La compañía también ha agregado constantemente nuevas características como Avatarfx, escenas y transmisiones. Después OpadaiEl modo de voz avanzado, el inicio incluso introdujo una función de llamadas que permite a los usuarios tener conversaciones de voz con sus personajes elegidos para un compromiso mejorado.
