En los últimos años, los
programadores han acudido masivamente a chatbots como ChatGPT de OpenAI para ayudarles a programar, lo que ha afectado a
lugares como Stack Overflow, que
tuvo que despedir a casi el 30% de su personal el año pasado.
¿El único problema? Un equipo de
investigadores de la Universidad de Purdue presentó este mes una investigación
en la conferencia Computer-Human Interaction que muestra que el 52%
de las respuestas de programación generadas por ChatGPT son incorrectas.
Eso es una proporción asombrosamente
grande para un programa en el que las personas confían para ser preciso y exacto, subrayando lo que otros usuarios finales como escritores y profesores
están experimentando: Las plataformas de IA como ChatGPT a menudo alucinan
respuestas totalmente incorrectas de la nada.
Para el estudio, los investigadores
revisaron 517 preguntas en Stack Overflow y analizaron el intento de ChatGPT de
responderlas.
«Encontramos que el 52% de las
respuestas de ChatGPT contienen información errónea, el 77% de las respuestas
son más extensas que las respuestas humanas, y el 78% de las respuestas sufren
de diferentes grados de inconsistencia en comparación con las respuestas
humanas».
El equipo también realizó un análisis
lingüístico de 2,000 respuestas seleccionadas al azar de ChatGPT y encontró que
eran «más formales y analíticas» mientras mostraban «menos
sentimiento negativo», el tipo de tono neutral y alegre que la IA tiende a
producir.
Los
programadores prefieren ChatGPT
Lo que es especialmente preocupante
es que muchos programadores humanos parecen preferir las respuestas de
ChatGPT. Los investigadores de Purdue encuestaron a 12 programadores, una
muestra pequeña, y encontraron que prefirieron las respuestas de ChatGPT en un
35% y no detectaron errores generados por la IA en un 39%.
¿Por qué está sucediendo esto? Podría
ser simplemente que ChatGPT es más educado que las personas en línea.
«Las entrevistas de seguimiento
semi-estructuradas revelaron que el lenguaje educado, las respuestas
articuladas y de estilo libro de texto, y la exhaustividad son algunas de las
principales razones que hicieron que las respuestas de ChatGPT parecieran más
convincentes, por lo que los participantes bajaron la guardia y pasaron por
alto algunas informaciones erróneas en las respuestas de ChatGPT».
El estudio demuestra que ChatGPT
todavía tiene fallas importantes, pero eso es un consuelo frío para las
personas despedidas de Stack Overflow o para los programadores que tienen que corregir errores generados por la IA en el código.
5 razones por las que la IA no acabará con los programadores (como afirma Nvidia)
Fuente: Futurism