Este detector de escritura de IA muestra su trabajo. Para mí, es un paso en la dirección correcta

Este artículo fue escrito por un humano real, carne y sangre, yo, pero una cantidad creciente del contenido de texto y video que se encuentra en línea no lo es. Viene de Herramientas de IA generativasque se han vuelto bastante buenos creando un texto que suena realista y video de aspecto natural. Entonces, ¿cómo se resuelve a los robóticos hechos por el humano?

La respuesta es más complicada que esa leyenda urbana sobre el uso excesivo de las placas EM haría creer. Mucha gente escribe con una (más) abundancia de esa pieza en particular, como Cualquier editor te dirá. Las pistas pueden tener más que ver con la redacción y el hecho de que, como con cualquier escritor, los modelos de lenguaje grande tienden a repetirse.

Esa es la lógica detrás de los programas de detección de IA. El problema es que esos sistemas a menudo tienen a la IA, y proporcionan pocos detalles sobre cómo llegaron a sus evaluaciones. Eso los hace difíciles de confiar.

Una nueva característica de la compañía de detección de AI CopileaksLlamada Logic AI, proporciona más información sobre no solo si AI podría haber escrito y de qué evidencia está basando esa decisión y en qué evidencia está basando esa decisión. Los resultados son algo que se parece mucho a un detector de plagio, con pasajes individuales destacados. Luego puede ver si CopyLeaks lo marcó porque coincidió con el texto en un sitio web que se sabe que es generado por IA, o si fue una frase que la investigación de la compañía ha determinado es mucho más probable que aparezca en el texto producido por el Humano.

Ni siquiera necesariamente tiene que buscar una herramienta Gen AI para producir texto con uno en estos días. Empresas tecnológicas como Microsoft y Google están agregando ayudantes de IA a las aplicaciones en el lugar de trabajo, pero incluso está apareciendo en aplicaciones de citas. Una encuesta del Instituto Kinsey y Match, propietaria de Tinder y Hinge, encontró que el 26% de los singles eran Usando AI en citasYa sea para hacer que los perfiles o encontrar mejores líneas. La escritura de IA es ineludible, y hay momentos en que probablemente quieras saber si una persona realmente escribió lo que estás leyendo.

Esta información adicional de un texto verificado por los copyleks marca un paso adelante en la búsqueda de una forma de separar el hecho de que la IA se realiza de la escritura humana, pero el elemento importante aún no es el software. Se necesita un ser humano para mirar estos datos y descubrir qué es una coincidencia y qué es preocupante.

«La idea es realmente llegar a un punto en el que no hay un signo de interrogación, proporcionar tanta evidencia como podamos», me dijo el CEO de CopyLeaks, Alon Yamin.

Un sentimiento noble, pero también quería ver por mí mismo lo que detectaría el detector de IA y por qué.

Cómo funciona la detección de IA

CopyLeaks comenzó utilizando modelos de IA para identificar estilos de escritura específicos como una forma de detectar la infracción de los derechos de autor. Cuando el chatgpt de OpenAI estalló en la escena en 2022, la compañía se dio cuenta de que podía usar los mismos modelos para detectar el estilo de los modelos de idiomas grandes. Yamin lo llamó «ai versus ai», ya que los modelos fueron entrenados para buscar factores específicos como la duración de las oraciones, el uso de puntuación y las frases específicas. (Divulgación: Ziff Davis, la empresa matriz de CNET, en abril presentó una demanda contra OpenAi, alegando que infringió los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA).

El problema con el uso de IA para detectar AI es que modelos de idiomas grandes A menudo son una «caja negra»: producirán una salida que tenga sentido, y usted sabe qué se dedicó a entrenarlos, pero no muestran su trabajo. La función lógica de AI de CopyLeaks intenta retirar el velo para que las personas tengan una mejor idea de lo que en la copia que están evaluando en realidad podría estar escrita con AI.

«Lo que es realmente importante es tener tanta transparencia en torno a los modelos de IA (como sea posible), incluso internamente», dijo Yamin.

Leer más: AI Essentials: 29 formas de hacer que la Gen AI funcione para usted, según nuestros expertos

AI Logic utiliza dos enfoques diferentes para identificar el texto potencialmente escrito por un LLM. Uno, llamado AI Source Match, utiliza una base de datos de contenido generado por IA de fuentes creadas internas por copyleks o en sitios producidos en línea. Esto funciona como un detector de plagio tradicional. «Lo que hemos descubierto es que el contenido de IA, la mayor parte del tiempo, si hace la misma pregunta o una pregunta similar una y otra vez, obtendrá respuestas similares o una versión similar de la misma respuesta», dijo Yamin.

El otro componente, las frases de IA, detecta términos y grupos de palabras que la investigación de CopyLeaks ha determinado que tienen mucho más probabilidades de ser utilizadas por LLM que por escritores humanos. En un informe de muestra, CopyLeaks identificó la frase «con avances en tecnología» como potencialmente escrito por IA. El análisis de CopyLeaks del contenido generado encontró que la frase apareció 125 veces por millón de documentos escritos por IA, en comparación con solo seis veces por millón de documentos escritos por personas.

La pregunta es, ¿funciona?

¿Puede los copyleaks detectar contenido de IA y explicar por qué?

Ejecuté algunos documentos a través de CopyLeaks para ver si AI Logic puede identificar lo que sé que es contenido creado por AI, o si marca el contenido escrito por los humanos como escritura AI.

Ejemplo: un clásico escrito por humanos

¿Qué mejor manera de probar una herramienta de inteligencia artificial que con una historia sobre inteligencia artificial? Le pedí a CopyLeaks que probara una sección del clásico cuento de Isaac Asimov 1956 La última preguntasobre una inteligencia artificial ficticia encargada de resolver un problema difícil. CopyLeaks lo identificó con éxito como texto 100% coincidente en Internet y 0% escrito por IA.

Ejemplo: parcialmente escrito por AI

Para este ejemplo, le pregunté Chatgpt Para agregar dos párrafos de copia adicional a una historia que escribí y Publicado más temprano en el día. Ejecuté el texto resultante, mi historia original con los dos párrafos escritos por IA agregados en la parte inferior, a través de CopyLeaks.

CopyLeaks identificó con éxito que el 65.8% de esta copia coincidía con el texto existente (porque literalmente era un artículo ya en Internet), pero no recogió nada como generado por IA. ¿Esos dos párrafos chatgpt acaban de escribir? Voló completamente bajo el radar.

Ampliar imagen

Lo intenté de nuevo, esta vez preguntando Géminis de Google Para agregar una copia a mi historia existente. CopyLeaks nuevamente identificó que el 67.2% del texto coincidía con lo que estaba en línea, pero también informó que el 100% del texto puede haber sido generado por IA. Incluso el texto que escribí fue marcado, con algunas frases, como «modelo de IA generativo», descrito como que ocurre con más frecuencia en el texto escrito por AI.

Ejemplo: totalmente escrito por la IA

En una prueba de la capacidad generativa de la IA para crear cosas que están totalmente fuera de contacto con la realidad, le pedí que escribiera una noticia como si los Cincinnati Bengals hubieran ganado el Super Bowl. (En este universo ficticio, Cincinnati venció a los San Francisco 49ers por un puntaje de 31-17). Cuando ejecuté la historia falsa a través de CopyLeaks, lo identificó con éxito como completamente escrito por IA.

Ampliar imagen

Sin embargo, lo que CopyLeaks no hizo es explicar por qué. Dijo que no se encontraron resultados en su coincidencia fuente de IA o en sus frases de IA, pero con una nota: «No hay una frase específica que indique AI. Sin embargo, otros criterios sugieren que este texto fue generado por AI».

Lo intenté nuevamente, esta vez con una historia diferente generada por ChatGPT sobre los Bengals que ganaron el Super Bowl 27-24 sobre los 49ers, y CopyLeaks proporcionó una explicación más detallada. Calculó que el contenido fue creado por 98.7% AI, con un puñado de frases marcadas. Estos incluyeron algunos términos aparentemente inocentes como «hechos varios críticos» y «testimonio de años de». También incluyó algunas cadenas de palabras que se extendieron a través de múltiples frases o oraciones, como «continúa evolucionando, el futuro de los Bengals», que aparentemente ocurrió 317 veces más frecuentemente en el contenido generado por la IA de la base de datos que en los documentos de texto humanos. (Después de plantear el problema con el primer intento con CopyLeaks, lo probé nuevamente y obtuve resultados similares a esta segunda prueba).

Solo para estar seguro de que no estaba funcionando por completo en el hecho de que los Bengals nunca han ganado un Super Bowl, le pedí a ChatGPT que escribiera un artículo sobre los Dodgers de Los Ángeles que ganan la Serie Mundial. CopyLeaks encontró que el 50.5% coincidía con el texto existente en línea, pero también informó que estaba al 100% escrito por IA.

Un ejemplo de alto perfil

CopyLeaks hizo algunas pruebas propias, utilizando un ejemplo reciente de un presunto uso controvertido de IA. En mayo, el medio de comunicación Conocido dijo que un informe De la Comisión Make America Healthy de la administración Trump, la Comisión Again de nuevo contenía referencias a estudios académicos que no existían. Los investigadores que fueron citados en el informe de MAHA dijeron a los medios de comunicación que no produjeron ese trabajo. Las citas a fuentes inexistentes son un resultado común de la alucinación de IA, por lo que es importante Verifique cualquier cosa que cita un LLM. La administración Trump Defendió el informeCon un portavoz culpando a «Citaciones menores y errores de formato» y afirma que la sustancia del informe permanece sin cambios.

CopyLeaks ejecutó el informe a través de su sistema, que informó haber encontrado un 20.8% de contenido escrito por IA potencial. Encontró algunas secciones en torno a la salud mental de los niños elevadas las banderas rojas en su base de datos de frases de IA. Algunas frases que ocurrieron con mucha más frecuencia en el texto escrito por la IA incluyeron «impactos de las redes sociales en sus» y «el impacto negativo de las redes sociales en su salud mental».

¿Puede una IA realmente detectar el texto escrito por AI?

En mi experiencia, el aumento de la transparencia de los copileaks hacia cómo funciona la herramienta es un paso adelante para el mundo de la detección de IA, pero esto aún está lejos de ser infalible. Todavía hay un riesgo preocupante de falsos positivos. En mis pruebas, a veces las palabras que había escrito solo horas antes (y sé que la IA no jugó un papel en ellas) podrían marcarse debido a algunas de las frases. Aún así, CopyLeaks pudo detectar un artículo de noticias falso sobre un equipo que nunca ha ganado un campeonato al hacerlo.

Yamin dijo que el objetivo no es necesariamente ser la última fuente de verdad, sino proporcionar a las personas que necesitan evaluar si AI se ha utilizado con herramientas para tomar mejores decisiones. Un humano necesita estar en el bucle, pero herramientas como CopyLeaks pueden ayudar con la confianza.

«La idea al final es ayudar a los humanos en el proceso de evaluación de contenido», dijo. «Creo que estamos en una época en la que el contenido está en todas partes, y se está produciendo cada vez más y más rápido que nunca. Es más difícil identificar el contenido en el que puedes confiar».

Aquí está mi opinión: cuando se usa un detector de IA, una forma de tener más confianza es mirar específicamente lo que se está marcando como posiblemente escrito por IA. La frase sospechosa ocasional puede ser, y probablemente es inocente. Después de todo, solo hay muchas formas diferentes en que puede reorganizar las palabras: una frase compacta como «modelo de IA generativo» es bastante útil para nosotros los humanos, igual que para la IA. ¿Pero si son varios párrafos completos? Eso puede ser más preocupante.

Los detectores de IA, al igual que el rumor de que el EM Dash es una IA Tell, pueden tener falsos positivos. Una herramienta que aún es en gran medida una caja negra cometerá errores, y que puede ser devastadora para alguien cuya escritura genuina fue marcada sin culpa propia.

Le pregunté a Yamin cómo los escritores humanos pueden asegurarse de que su trabajo no esté atrapado en esa trampa. «Solo haz lo tuyo», dijo. «Asegúrate de tener tu toque humano».