Visto el revuelo que se ha creado con el asunto, OpenAI, los creadores de ChatGPT, han desarrollado una herramienta para detectar texto creado por una IA.
[…]La herramienta no es totalmente fiable
OpenAI
Dicen los chicos de OpenAI que: «En nuestras evaluaciones sobre un «conjunto de desafíos» de textos en inglés, nuestro clasificador identifica correctamente el 26 % del texto escrito por IA (verdaderos positivos) como «probablemente escrito por IA», mientras que etiqueta incorrectamente el texto escrito por humanos como 9 % escrito por IA. el tiempo (falsos positivos). La confiabilidad de nuestro clasificador generalmente mejora a medida que aumenta la longitud del texto de entrada.»
Debido a esto, consideran que no debe usarse como una herramienta principal para resolver este problema, y que debe usarse junto con otros métodos para evaluar la fuente de un texto.
Según OpenAI las limitaciones de su herramienta son las siguientes:
| 1 | El clasificador es muy poco fiable en textos cortos (menos de 1.000 caracteres). Incluso los textos más largos a veces son etiquetados incorrectamente por el clasificador. |
| 2 | A veces, nuestro clasificador etiquetará de forma incorrecta pero segura el texto escrito por humanos como escrito por IA. |
| 3 | Recomendamos usar el clasificador solo para texto en inglés. Funciona significativamente peor en otros idiomas y no es confiable en el código. |
| 4 | El texto que es muy predecible no se puede identificar de forma fiable. Por ejemplo, es imposible predecir si una lista de los primeros 1000 números primos fue escrita por IA o por humanos, porque la respuesta correcta es siempre la misma. |
| 5 | El texto escrito por IA se puede editar para evadir el clasificador. Los clasificadores como el nuestro se pueden actualizar y volver a entrenar en función de los ataques exitosos, pero no está claro si la detección tiene una ventaja a largo plazo. |
| 6 | Se sabe que los clasificadores basados en redes neuronales están mal calibrados fuera de sus datos de entrenamiento. Para entradas que son muy diferentes del texto en nuestro conjunto de entrenamiento, el clasificador a veces tiene mucha confianza en una predicción incorrecta. |
OpenAI también abre la posibilidad a contactar con ellos a todos aquellos que se vean afectados, fundamentalmente la comunidad educativa.
Queda mucho camino por andar hasta tener una herramienta que distinga al humano de la máquina, de ser posible.
[…] ¿Cómo detectar texto generado por una IA? […]
[…] ¿Cómo detectar texto generado por una IA? […]