Estudo do impacto dos grandes modelos de linguagem nas capacidades cognitivas

Recentemente, um estudo aprofundado realizado por uma instituição de ensino renomada explorou o impacto do uso de grandes modelos de linguagem (LLM) nas habilidades cognitivas em ambientes educacionais. O estudo durou 4 meses, totalizando 206 páginas, e focou no potencial impacto do uso de LLM na escrita de artigos sobre o cérebro e as habilidades cognitivas.

A equipe de pesquisa recrutou 54 participantes, dividindo-os em três grupos: grupo LLM, grupo de motor de busca e grupo que depende apenas do cérebro. Nas três primeiras rodadas de experiências, cada grupo utilizou ferramentas designadas (ou não utilizou ferramentas) para completar uma tarefa de redação de artigo dentro de um tempo limitado. Na quarta rodada de experiências, os pesquisadores ajustaram a forma como alguns participantes utilizavam as ferramentas, a fim de observar suas mudanças de adaptação.

Para avaliar de forma abrangente o envolvimento cognitivo e a carga dos participantes, o estudo utilizou vários métodos:

1. Utilizar EEG ( para registar a atividade cerebral.
2. Realizar análise de processamento de linguagem natural)NLP(
3. Entrevista aos participantes após o experimento
4. Avaliação com a ajuda de professores humanos e juízes de IA especialmente construídos

Os resultados da pesquisa mostram que os participantes que usaram apenas o cérebro apresentaram uma maior diversidade no estilo de escrita, enquanto os artigos do grupo LLM mostraram uma tendência claramente homogênea. No uso de entidades nomeadas específicas )NER(, o grupo LLM superou amplamente os outros dois grupos, o que pode refletir uma dependência excessiva da saída da ferramenta.

No que diz respeito ao padrão de conectividade neural, os pesquisadores utilizaram a função de transferência dinâmica orientada )dDTF( para medir a carga cognitiva. A análise da eletroencefalografia revelou diferenças significativas nos padrões de conectividade neural entre os três grupos de participantes, refletindo diferentes estratégias cognitivas. Com o aumento do suporte externo, o grau de conectividade do cérebro apresentou uma tendência de redução sistemática: o grupo que contou apenas com o cérebro apresentou a conexão de rede mais forte e mais ampla, enquanto o grupo assistido por LLM teve a acoplamento geral mais fraco.

Os resultados da entrevista confirmaram ainda mais essa descoberta. O grupo LLM teve uma menor sensação de pertencimento em relação aos seus artigos e apresentou um desempenho insatisfatório ao recordar o conteúdo escrito alguns minutos antes. Mais de 83% dos usuários de LLM não conseguiram citar com precisão o conteúdo do artigo que acabaram de concluir.

Embora este estudo ainda não tenha sido revisado por pares, os resultados indicam que, ao longo de um período de pesquisa de 4 meses, os participantes do grupo LLM tiveram desempenho inferior ao grupo de controle que usou apenas o cérebro em vários níveis, incluindo neural, linguístico e pontuação. Os pesquisadores apontam que a ampla aplicação do LLM na educação pode afetar o desenvolvimento de habilidades de aprendizado, especialmente para usuários mais jovens.

A equipe de pesquisa sugere que, antes que os LLM sejam amplamente reconhecidos como benéficos para a humanidade, é necessário realizar estudos longitudinais de longo prazo para entender melhor os efeitos a longo prazo dos chatbots de inteligência artificial no cérebro humano.

É importante notar que este estudo não nega o valor dos LLM, mas alerta as pessoas para o perigo da dependência excessiva dessas ferramentas. O uso razoável dos LLM, aliado à criatividade humana e ao pensamento crítico, é a chave para desbloquear todo o seu potencial e promover o aumento das capacidades cognitivas.

![Relatório de Experiência MIT: A dependência excessiva de chatbots de IA pode reduzir a capacidade de pensamento])https://img-cdn.gateio.im/webp-social/moments-6e4f215f3579f9d96def494636cabcf0.webp(