大型言語モデルの認知能力への影響に関する研究

最近、有名な学府による詳細な研究が行われ、大規模言語モデル(LLM)を教育環境で使用することが認知能力に与える影響が探求されました。この研究は4ヶ月にわたり、206ページにわたり、文章を書く際にLLMを使用することが脳と認知能力に与える潜在的な影響に焦点を当てています。

研究チームは54名の参加者を募集し、LLMグループ、検索エンジングループ、そして脳だけを使うグループの3つに分けました。最初の3ラウンドの実験では、各グループは指定されたツールを使用（またはツールを使用せず）して、制限時間内に記事を書くタスクを完了しました。第4ラウンドの実験では、研究者は一部の参加者のツールの使用方法を調整し、適応の変化を観察しました。

参加者の認知的投入と負荷を包括的に評価するために、研究はさまざまな方法を採用しました：

1. EEG(を使用して脳波活動を記録する
2. 自然言語処理)NLP(解析を行う
3. 実験後に参加者にインタビューを行う
4. 人間の教師と特別に構築されたAI審査員による評価を利用する

研究結果は、脳を使った参加者が執筆スタイルにおいてより大きな多様性を示す一方で、LLMグループの文書は明らかな均質化の傾向を示すことを明らかにしています。特定の命名実体)NER(の使用において、LLMグループは他の2つのグループを大きく上回っており、これはツールの出力に対する過度の依存を反映している可能性があります。

神経接続パターンに関して、研究者は動的方向伝達関数)dDTF(法を用いて認知負荷を測定しました。脳波分析により、3グループの参加者の神経接続パターンに有意な差が見られ、異なる認知戦略を反映していることが明らかになりました。外部サポートの増加に伴い、脳の接続の程度は体系的に減少する傾向を示しました：脳のみのグループは最も強く、最も広範なネットワーク接続を示しましたが、LLM支援グループの全体的な結合は最も弱かったです。

インタビュー結果はこの発見をさらに裏付けるものでした。LLMグループは自分の文章への帰属感が低く、数分前に書いた内容を思い出すのが苦手でした。83%以上のLLMユーザーが、ちょうど完成した文章の内容を正確に引用できませんでした。

この研究はまだ査読を受けていないが、その結果は、4ヶ月間の研究プロセスにおいて、LLMグループの参加者が神経、言語、スコアなどの複数のレベルで、脳だけを使用した対照グループよりも劣っていることを示している。研究者は、教育分野におけるLLMの広範な応用が、特に若いユーザーにとって学習スキルの向上に影響を与える可能性があると指摘している。

研究チームは、LLMが人類にとって有益であると広く認識される前に、人工知能チャットボットが人間の脳に与える長期的な影響を深く理解するために、長期的な縦の研究が必要であると提案しています。

注目すべきは、この研究がLLMの価値を否定するものではなく、こうしたツールへの過度な依存に警戒するよう人々に警告していることです。LLMを適切に使用し、人間の創造力と批判的思考を組み合わせることで、その潜在能力を最大限に引き出し、認知能力の向上を促進することができます。

! [MITラボレポート:AIチャットボットへの過度の依存は思考能力を低下させる])https://img-cdn.gateio.im/webp-social/moments-6e4f215f3579f9d96def494636cabcf0.webp(