Los ganadores del premio Turing advierten sobre el despliegue inseguro de modelos de IA

Manténgase informado con actualizaciones gratuitas

Simplemente regístrese en el Inteligencia artificial Myft Digest: entregado directamente a su bandeja de entrada.

Dos pioneros del aprendizaje de refuerzo, una técnica científica que ha sido fundamental para el auge de la inteligencia artificial, han advertido contra el despliegue inseguro de modelos de IA después de ganar el premio Turing de este año.

Andrew Barto, profesor emérito de la Universidad de Massachusetts, y Richard Sutton, profesor de la Universidad de Alberta y ex científico de investigación de Deepmind, han ganado el premio de $ 1MN de la Asociación para Computar maquinaria para desarrollar el método innovador.

Barto y Sutton desarrollaron el aprendizaje de refuerzo en la década de 1980 después de que se inspiraron en la psicología y cómo aprenden las personas. La técnica de aprendizaje automático, que recompensa los sistemas de IA por comportarse de la manera deseada, ha ayudado a impulsar el éxito de algunos de los principales grupos de IA del mundo, como OpenAi y Google.

Los ganadores del premio, que a menudo se denomina el Premio Nobel de la Computación, dijeron que estaban preocupados por AI Las empresas se apresuran a lanzar productos antes de probarlos a fondo.

«Lanzar software a millones de personas sin salvaguardas no es una buena práctica de ingeniería», dijo Barto, comparándolo con construir un puente y probarlo haciendo que la gente lo use.

«La práctica de ingeniería ha evolucionado para tratar de mitigar las consecuencias negativas de la tecnología, y no veo que las empresas que se están desarrollando», agregó.

El premio, que lleva el nombre del matemático británico Alan Turing, viene después AI Breakthroughs También fueron reconocidos tanto en los premios Nobel de Química como Física en octubre. Esto destacó la importancia de las herramientas de computación y la ciencia de datos en el agrietamiento de problemas científicos complejos en escalas de tiempo mucho más cortas.

“Las herramientas (Barto y Sutton) desarrolladas siguen siendo un pilar central del auge de la IA y han hecho importantes avances, atrajeron legiones de jóvenes investigadores e han generado miles de millones de dólares en inversiones. (Reforzing Learning’s) El impacto continuará en el futuro ”, dijo Jeff Dean, vicepresidente senior de Google, que patrocinó el premio.

Google Deepmind usó la técnica para desarrollar Alphago, un sistema de IA que vence a los jugadores humanos en el juego, un hito importante en la investigación de IA. OpenAI también utilizó un tipo de aprendizaje de refuerzo que se basa en la retroalimentación humana para controlar la producción de ChatGPT.

Pero tanto Barto como Sutton advirtieron contra el ritmo actual del desarrollo de la IA, donde las empresas están corriendo para lanzar modelos poderosos pero propensos a cometer errores, aumentando cantidades sin precedentes de financiación e inversión de miles de millones en infraestructura como centros de datos para entrenar y ejecutar IA.

Los grandes grupos tecnológicos han dicho que el gasto de IA podría superar los $ 320 mil millones este año, mientras que OpenAI, que lanzó ChatGPT en 2022, actualmente está recaudando $ 40 mil millones en nuevos fondos con una valoración de $ 260 mil millones.

Barto criticó al sector de la IA por estar motivado por incentivos comerciales, en lugar de promover la investigación de IA. «La idea de tener grandes centros de datos y luego cobrar una cierta cantidad para usar el software es motivar cosas, y ese no es el motivo al que me suscribiría», agregó.

Operai ha argumentado que necesita desbloquear una mayor inversión a través de una estructura corporativa más tradicional para lograr la «misión» fundadora de la compañía de garantizar que la inteligencia general artificial, un escenario en el que los sistemas informáticos logran niveles de inteligencia similares o superiores a los humanos, beneficien a la humanidad.

Pero Sutton descartó la narrativa de las empresas de tecnología en torno a AGI como «exageración». «AGI es un término extraño porque siempre ha habido IA y personas tratando de entender la inteligencia». Agregó que «los sistemas que son más inteligentes que las personas» ocurrirán eventualmente a través de una mejor comprensión de la mente humana.

Barto y Sutton también criticaron el intento del presidente de los Estados Unidos, Donald Trump, de reducir el gasto federal en investigación científica y despedir al personal de las agencias científicas de los Estados Unidos.

Esto podría tener consecuencias devastadoras para el dominio estadounidense en la ciencia, dijo Barto, quien lo calificó «incorrecto y una tragedia no solo para este país, sino también para el mundo».

Agregó que las oportunidades para hacer el tipo de investigación que permitió su trabajo en el aprendizaje de refuerzo «desaparecerían» sin la libertad de explorar conceptos abstractos y no probados.

A pesar de sus preocupaciones, ambos científicos son optimistas sobre el potencial de aprendizaje de refuerzo, combinado con IA, para traer resultados positivos al mundo.

“Tenemos el potencial de volvernos menos codiciosos y egoístas y más conscientes de lo que está sucediendo en los demás. . . Hay muchas cosas mal en el mundo, pero demasiada inteligencia no es una de ellas ”, dijo Sutton.