Estudio sobre el impacto de los modelos de lenguaje a gran escala en la capacidad cognitiva

Recientemente, un estudio en profundidad llevado a cabo por una reconocida institución académica exploró el impacto del uso de modelos de lenguaje de gran tamaño (LLM) en las capacidades cognitivas dentro del entorno educativo. El estudio, que duró 4 meses y abarcó 206 páginas, se centró en el potencial impacto del uso de LLM en el cerebro y las habilidades cognitivas al redactar artículos.

El equipo de investigación reclutó a 54 participantes y los dividió en tres grupos: grupo LLM, grupo de motores de búsqueda y grupo que solo usa el cerebro. En las primeras tres rondas de experimentos, cada grupo utilizó las herramientas designadas (o no utilizó herramientas) para completar la tarea de redacción de artículos dentro de un tiempo limitado. En la cuarta ronda de experimentos, los investigadores ajustaron la forma en que algunos participantes usaban las herramientas para observar sus cambios de adaptación.

Para evaluar de manera integral la inversión cognitiva y la carga de los participantes, el estudio utilizó varios métodos:

1. Utilizar electroencefalografía (EEG) para registrar la actividad cerebral.
2. Realizar análisis de procesamiento de lenguaje natural(NLP)
3. Realizar entrevistas a los participantes después del experimento
4. Calificación con la ayuda de profesores humanos y jueces de IA específicamente diseñados

Los resultados de la investigación muestran que los participantes que solo usaron el cerebro mostraron una mayor diversidad en el estilo de escritura, mientras que los artículos del grupo LLM presentaron una tendencia evidente a la homogeneización. En el uso de la entidad nombrada específica (NER), el grupo LLM superó con creces a los otros dos grupos, lo que podría reflejar una dependencia excesiva de la salida de herramientas.

En términos de patrones de conectividad neural, los investigadores utilizaron el método de función de transferencia direccional dinámica (dDTF) para medir la carga cognitiva. El análisis de electroencefalografía reveló diferencias significativas en los patrones de conectividad neural entre los tres grupos de participantes, reflejando diferentes estrategias cognitivas. A medida que aumentaba el apoyo externo, el grado de conectividad cerebral mostraba una tendencia sistemática a la disminución: el grupo que dependía únicamente del cerebro presentaba la conexión de red más fuerte y amplia, mientras que el grupo asistido por LLM mostraba el acoplamiento general más débil.

Los resultados de la entrevista confirmaron aún más este hallazgo. El grupo LLM tenía un sentido de pertenencia más bajo a su artículo y mostró un rendimiento deficiente al recordar el contenido que habían escrito hace unos minutos. Más del 83% de los usuarios de LLM no pudieron citar con precisión el contenido del artículo que acababan de completar.

Aunque este estudio aún no ha sido revisado por pares, sus resultados indican que, durante un período de investigación de 4 meses, los participantes del grupo LLM no se desempeñaron tan bien como el grupo de control que solo utilizó el cerebro en varios niveles, como el neurológico, el lingüístico y el de puntuación. Los investigadores señalan que la amplia aplicación de LLM en el ámbito educativo podría afectar la mejora de las habilidades de aprendizaje, especialmente para los usuarios jóvenes.

El equipo de investigación sugiere que, antes de que los LLM sean ampliamente reconocidos como beneficiosos para la humanidad, es necesario llevar a cabo estudios longitudinales a largo plazo para comprender mejor el impacto a largo plazo de los chatbots de inteligencia artificial en el cerebro humano.

Es importante destacar que este estudio no niega el valor de los LLM, sino que advierte sobre la dependencia excesiva de este tipo de herramientas. El uso adecuado de los LLM, combinado con la creatividad y el pensamiento crítico humano, es lo que permitirá aprovechar plenamente su potencial y fomentar la mejora de las capacidades cognitivas.