¿Cómo detectar texto generado por una IA?

OpenAI, los creadores de ChatGPT, han desarrollado una herramienta para detectar texto creado por una IA.

2
1051

Visto el revuelo que se ha creado con el asunto, OpenAI, los creadores de ChatGPT, han desarrollado una herramienta para detectar texto creado por una IA.

[…]La herramienta no es totalmente fiable

OpenAI

Dicen los chicos de OpenAI que: «En nuestras evaluaciones sobre un «conjunto de desafíos» de textos en inglés, nuestro clasificador identifica correctamente el 26 % del texto escrito por IA (verdaderos positivos) como «probablemente escrito por IA», mientras que etiqueta incorrectamente el texto escrito por humanos como 9 % escrito por IA. el tiempo (falsos positivos). La confiabilidad de nuestro clasificador generalmente mejora a medida que aumenta la longitud del texto de entrada.»

Debido a esto, consideran que no debe usarse como una herramienta principal para resolver este problema, y que debe usarse junto con otros métodos para evaluar la fuente de un texto.

Según OpenAI las limitaciones de su herramienta son las siguientes:

1El clasificador es muy poco fiable en textos cortos (menos de 1.000 caracteres). Incluso los textos más largos a veces son etiquetados incorrectamente por el clasificador.
2A veces, nuestro clasificador etiquetará de forma incorrecta pero segura el texto escrito por humanos como escrito por IA.
3Recomendamos usar el clasificador solo para texto en inglés. Funciona significativamente peor en otros idiomas y no es confiable en el código.
4El texto que es muy predecible no se puede identificar de forma fiable. Por ejemplo, es imposible predecir si una lista de los primeros 1000 números primos fue escrita por IA o por humanos, porque la respuesta correcta es siempre la misma.
5El texto escrito por IA se puede editar para evadir el clasificador.  Los clasificadores como el nuestro se pueden actualizar y volver a entrenar en función de los ataques exitosos, pero no está claro si la detección tiene una ventaja a largo plazo.
6Se sabe que los clasificadores basados ​​en redes neuronales están mal calibrados fuera de sus datos de entrenamiento. Para entradas que son muy diferentes del texto en nuestro conjunto de entrenamiento, el clasificador a veces tiene mucha confianza en una predicción incorrecta.

OpenAI también abre la posibilidad a contactar con ellos a todos aquellos que se vean afectados, fundamentalmente la comunidad educativa.

Queda mucho camino por andar hasta tener una herramienta que distinga al humano de la máquina, de ser posible.

Aquí puede probar esta nueva herramienta.

2 COMENTARIOS

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí