Roblox implementa el sistema para detectar mensajes de chat de modificación infantil
Roblox es una popular plataforma de juegos en línea para niños. Pero también es un lugar donde las personas que desean explotar a los niños saben que pueden encontrar una audiencia. El jueves, Roblox anunció Roblox Sentinelun sistema de inteligencia artificial Eso está diseñado para marcar mensajes inapropiados en su función de chat. Roblox ya prohíbe compartir imágenes del mundo real e información personal, como números de teléfono y nombres de usuario. La compañía espera que Sentinel marque más mensajes antes de investigación. Se ha estado ejecutando en la plataforma desde finales de 2024, pero se acaba de anunciar esta semana.
Un representante de Roblox no respondió de inmediato a una solicitud de comentarios.
Cómo funciona Roblox Sentinel
Roblox creó Roblox Sentinel, un sistema de IA para ayudar a detectar signos de peligro infantil. Una vez que Roblox es consciente de los problemas, los representantes pueden investigar e informar a la policía.
Sentinel ejecuta un análisis en tiempo real en más de seis mil millones de mensajes de chat todos los días. Se necesita continuamente instantáneas de un minuto, que AI analizan automáticamente para identificar mensajes que podrían ser perjudiciales para los niños. Estos mensajes también se compilan con el tiempo para mostrar patrones que pueden investigarse e informar más a fondo.
Sentinel marca los mensajes basados en su capacitación. Fue entrenado para distinguir entre mensajes seguros y los que se informaron anteriormente porque violaron la política de ingreso infantil de Roblox.
Roblox Sentinel está disponible como código abierto
Según Roblox, hasta ahora en 2025, Sentinel ha ayudado a detectar 1.200 informes de explotación potencial de niños que se informaron al Centro Nacional para niños desaparecidos y explotados. Roblox espera hacer que Roblox Sentinel esté disponible como código abierto para que otras compañías se integren en sus sistemas. El código está disponible en el sitio web de Roblox ahora.
No es el primer intento de Roblox de usar AI para monitorear el contenido y mejorar la seguridad en línea. A principios de julio, compartió cómo es Usar AI a contenido moderado En 25 idiomas en tiempo real. Age verificación ahora está disponible para adolescentes que desean chatear.
