Chatbots puede ser realmente impresionante cuando los ves hacer Cosas en las que son buenascomo escribir texto que suena realista o Creación de imágenes extrañas de aspecto futurista. Pero trate de pedirle a la IA generativa que resuelva uno de esos rompecabezas que encuentre en la parte trasera de un periódico, y las cosas pueden salir rápidamente de los rieles.
Eso es lo que encontraron los investigadores de la Universidad de Colorado Boulder cuando desafiaron diferentes modelos de idiomas grandes para resolver Sudoku. Y ni siquiera los rompecabezas estándar 9×9. Un rompecabezas de 6×6 más fácil a menudo estaba más allá de las capacidades de un LLM sin ayuda externa (en este caso, herramientas específicas de resolución de rompecabezas).
El hallazgo más importante se produjo cuando se les pidió a los modelos que mostraran su trabajo. En su mayor parte, no pudieron. A veces mentían. A veces explicaban cosas de manera que no tenía sentido. A veces ellos alucinado y comenzó a hablar sobre el clima.
Si las herramientas de Gen AI no pueden explicar sus decisiones de manera precisa o transparente, eso debería hacer que seamos cautelosos ya que le damos a estas cosas más y más control sobre nuestras vidas y decisiones, dijo Ashutosh Trivedi, profesor de informática en la Universidad de Colorado en Boulder y uno de los autores de los autores de los autores de los autores de papel Publicado en julio en los resultados de la Asociación de Lingüística Computacional.
«Realmente nos gustaría que esas explicaciones sean transparentes y reflejen por qué la IA tomó esa decisión, y no AI tratando de manipular al humano proporcionando una explicación que a un humano le gustaría», dijo Trivedi.
Cuando toma una decisión, al menos puede intentar justificarlo o explicar cómo llegó a ella. Ese es un componente fundamental de la sociedad. Somos responsables de las decisiones que tomamos. Es posible que un modelo de IA no pueda explicarse de manera precisa o transparente. ¿Confiarías en él?
¿Por qué LLMS lucha con Sudoku?
Hemos visto que los modelos de IA fallar en juegos y rompecabezas básicos antes. Chatgpt de OpenAi (entre otros) ha sido Totalmente aplastado en el ajedrez por el oponente de la computadora en un juego Atari de 1979. Un trabajo de investigación reciente de Apple descubrió que los modelos pueden tener dificultades para Otros rompecabezas, como la Torre de Hanoi.
Tiene que ver con la forma en que funcionan los LLM y llenan los vacíos en la información. Estos modelos intentan completar esas brechas en función de lo que sucede en casos similares en sus datos de entrenamiento u otras cosas que han visto en el pasado. Con un sudoku, la pregunta es de lógica. La IA podría tratar de llenar cada vacío en orden, según lo que parece una respuesta razonable, pero para resolverlo correctamente, en cambio tiene que mirar la imagen completa y encontrar un orden lógico que cambie de rompecabezas a rompecabezas.
Los chatbots son malos en el ajedrez por una razón similar. Encuentran los próximos movimientos lógicos, pero no necesariamente piensan que tres, cuatro o cinco avances por delante. Esa es la habilidad fundamental necesaria para jugar bien el ajedrez. Los chatbots también a veces tienden a mover piezas de ajedrez de manera que realmente no sigan las reglas o pongan piezas en peligro sin sentido.
Es posible que los LLM puedan resolver sudoku porque son computadoras y el rompecabezas consiste en números, pero los rompecabezas en sí no son realmente matemáticos; Son simbólicos. «Sudoku es famoso por ser un rompecabezas con números que podrían hacerse con cualquier cosa que no sea números», dijo Fabio Somenzi, profesor de CU y uno de los autores del trabajo de investigación.
Utilicé un mensaje de muestra del documento de los investigadores y se lo di a ChatGPT. La herramienta mostró su trabajo, y repetidamente me dijo que tenía la respuesta antes de mostrar un rompecabezas que no funcionó, luego volviendo y corrigiéndolo. Era como si el bot estuviera cambiando en una presentación que seguía obteniendo ediciones de último segundo: esta es la respuesta final. No, en realidad, no importa, este es la respuesta final. Eventualmente obtuvo la respuesta, a través de prueba y error. Pero la prueba y el error no son una forma práctica para que una persona resuelva un sudoku en el periódico. Eso es demasiado borrando y arruina la diversión.
La IA y los robots pueden ser buenos en los juegos si están construidos para jugarlos, pero las herramientas de uso general como los modelos de idiomas grandes pueden tener dificultades con los rompecabezas lógicos.
AI lucha por mostrar su trabajo
Los investigadores de Colorado no solo querían ver si los bots podían resolver rompecabezas. Pidieron explicaciones de cómo los bots trabajaron a través de ellos. Las cosas no salieron bien.
Probando el modelo de razonamiento de previsión O1 de OpenAI, los investigadores vieron que las explicaciones, incluso para los rompecabezas resueltos correctamente, no explicaban ni justificaron con precisión sus movimientos y se equivocaban con los términos básicos.
«Una cosa en la que son buenos es proporcionar explicaciones que parecen razonables», dijo Maria Pacheco, profesora asistente de informática en CU. «Se alinean con los humanos, por lo que aprenden a hablar como nos gusta, pero si son fieles a lo que deben ser los pasos reales para resolver lo que estamos luchando un poco».
A veces, las explicaciones eran completamente irrelevantes. Desde que se terminó el trabajo del documento, los investigadores han seguido probando nuevos modelos publicados. Somenzi dijo que cuando él y Trivedi estaban ejecutando el modelo de razonamiento O4 de Openai a través de las mismas pruebas, en un momento, parecía darse por vencido por completo.
«La siguiente pregunta que hicimos, la respuesta fue el pronóstico del tiempo para Denver», dijo.
(Divulgación: Ziff Davis, la empresa matriz de CNET, en abril presentó una demanda contra OpenAi, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA).
Explicarse a sí mismo es una habilidad importante
Cuando resuelve un rompecabezas, es casi seguro que puede caminar a alguien más a través de su pensamiento. El hecho de que estos LLM fallaran tan espectacularmente en ese trabajo básico no es un problema trivial. Con las compañías de IA hablando constantemente de las «Agentes de IA«Eso puede tomar medidas en su nombre, es esencial poder explicarse.
Considere los tipos de trabajos que se dan a la IA ahora, o planificados en el futuro cercano: conduciendo, Hacer impuestosdecidir estrategias comerciales y traducir documentos importantes. Imagine lo que pasaría si usted, una persona, hiciera una de esas cosas y algo salió mal.
«Cuando los humanos tienen que poner su rostro frente a sus decisiones, es mejor que puedan explicar qué condujo a esa decisión», dijo Somenzi.
No es solo una cuestión de obtener una respuesta razonable. Necesita ser preciso. Un día, la explicación de una IA de sí misma podría tener que sostenerse en la corte, pero ¿cómo se puede tomar en serio su testimonio si se sabe que mentirá? No confiaría en una persona que no se explicó, y tampoco confiaría en que alguien que encontrara decía lo que quería escuchar en lugar de la verdad.
«Tener una explicación está muy cerca de la manipulación si se hace por la razón equivocada», dijo Trivedi. «Tenemos que tener mucho cuidado con respecto a la transparencia de estas explicaciones».
