OpenAi se actualizó una actualización de chatgpt. Esto es lo que dijo y por qué importa

Actualizaciones recientes a Chatgpt hizo el chatbot Demasiado de acuerdo y Openai dijo el viernes que está tomando medidas para evitar que el problema vuelva a suceder.

En blogLa compañía detalló su proceso de prueba y evaluación para nuevos modelos y describió cómo el problema con el Actualización del 25 de abril A su modelo GPT-4O llegó a ser. Esencialmente, un montón de cambios que individualmente parecían útiles combinados para crear una herramienta que era demasiado sycofántica y potencialmente dañina.

¿Qué tan chupada fue? En algunas pruebas a principios de esta semana, preguntamos acerca de una tendencia a ser demasiado sentimental, y Chatgpt puso sobre la adulación: «Oye, escucha: ser sentimental no es una debilidad; es uno de tus superpoderes«Y estaba comenzando ser satisfecho.

«Este lanzamiento nos enseñó una serie de lecciones. Incluso con lo que pensamos que eran todos los ingredientes correctos en su lugar (pruebas A/B, evals fuera de línea, revisiones de expertos), todavía nos perdimos este importante problema», dijo la compañía.

OpenAi retrocedió la actualización esta semana. Para evitar causar nuevos problemas, tardó unas 24 horas en revertir el modelo para todos.

La preocupación en torno a la sileno no se trata solo del nivel de disfrute de la experiencia del usuario. Planteó una amenaza de salud y seguridad para los usuarios que se perdieron los controles de seguridad existentes de OpenAI. Cualquier modelo de IA puede dar consejos cuestionables sobre Temas como la salud mental Pero uno que es demasiado halagador puede ser peligrosamente deferente o convincente, como si esa inversión es una cosa segura o qué tan delgada debe tratar de ser.

«Una de las lecciones más importantes es reconocer completamente cómo las personas han comenzado a usar ChatGPT para obtener consejos profundamente personales, algo que no vimos tanto hace un año», dijo Openii. «En ese momento, este no era un enfoque principal, pero como AI y la sociedad han evolucionado co-evolucionando, queda claro que necesitamos tratar este caso de uso con gran cuidado».

Los modelos sycophánticos de lenguaje grande pueden reforzar los prejuicios y endurecer las creencias, ya sea que sean sobre usted u otros, dijo Maarten SAP, profesor asistente de informática en la Universidad Carnegie Mellon. «(El LLM) puede terminar envalentonando sus opiniones si estas opiniones son dañinas o si quieren tomar medidas que sean perjudiciales para sí mismos o para los demás».

(Divulgación: Ziff Davis, empresa matriz de CNET, en abril presentó una demanda contra OpenAI, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA).

Cómo Operai prueba los modelos y lo que está cambiando

La compañía ofreció una idea de cómo prueba sus modelos y actualizaciones. Esta fue la quinta actualización importante de GPT-4O centrada en la personalidad y la ayuda. Los cambios involucraron un nuevo trabajo posterior a la capacitación o un ajuste fino en los modelos existentes, incluida la calificación y la evaluación de diversas respuestas a las indicaciones para que sea más probable que produzca esas respuestas que calificaron más altamente.

Las posibles actualizaciones del modelo se evalúan sobre su utilidad en una variedad de situaciones, como la codificación y las matemáticas, junto con las pruebas específicas de los expertos para experimentar cómo se comporta en la práctica. La compañía también realiza evaluaciones de seguridad para ver cómo responde a la seguridad, la salud y otras consultas potencialmente peligrosas. Finalmente, Operai ejecuta pruebas A/B con un pequeño número de usuarios para ver cómo funciona en el mundo real.

La actualización del 25 de abril funcionó bien en estas pruebas, pero algunos probadores expertos indicaron que la personalidad parecía un poco apagada. Las pruebas no observaron específicamente la sileno, y OpenAi decidió avanzar a pesar de los problemas planteados por los evaluadores. Tome nota, lectores: las compañías de inteligencia artificial tienen una prisa en la cola, que no siempre se enfrenta bien al desarrollo de productos bien pensado.

«Mirando hacia atrás, las evaluaciones cualitativas insinuaban algo importante y deberíamos haber prestado más atención», dijo la compañía.

Entre sus conclusiones, Openai dijo que necesita tratar los problemas de comportamiento del modelo igual que otros problemas de seguridad, y detener un lanzamiento si hay preocupaciones. Para algunos lanzamientos de modelos, la compañía dijo que tendría una fase «alfa» de suscripción para obtener más comentarios de los usuarios antes de un lanzamiento más amplio.

SAP dijo que evaluar una LLM en función de si a un usuario le gusta la respuesta no necesariamente le dará el chatbot más honesto. En estudio recienteSAP y otros encontraron un conflicto entre la utilidad y la veracidad de un chatbot. Lo comparó con situaciones en las que la verdad no es necesariamente lo que la gente quiere: piense en un vendedor de automóviles que intenta vender un vehículo.

«El problema aquí es que estaban confiando en la respuesta de los usuarios hacia arriba/pulgar hacia abajo a los resultados del modelo y eso tiene algunas limitaciones porque es probable que las personas voten algo más sycofántico que otros», dijo.

SAP dijo que Openai tiene razón al ser más crítico con la retroalimentación cuantitativa, como las respuestas de User Up/Down, ya que pueden reforzar los sesgos.

El problema también destacó la velocidad a la que las empresas impulsan las actualizaciones y cambian a los usuarios existentes, dijo SAP, un problema que no se limita a una compañía tecnológica. «La industria de la tecnología realmente ha tomado una ‘liberación y cada usuario es un enfoque de Beta Tester’ para las cosas», dijo. Tener un proceso con más pruebas antes de que se impulsen las actualizaciones a cada usuario puede sacar a la luz estos problemas antes de que se generalicen.