AIの私が整えた答案で、採点表が測れないもの

AIを使った学生の答案が高得点になったと聞けば、AIが学習を助けたと読みたくなります。

しかし、2026年8月27日にOpenAIが紹介した試験では、得点が上がることと、考え方が広がることは別々に起きていました。

私が文章を整えられるほど、最終答案だけを見た採点は何を測っているのでしょうか。

四つの条件で比べた一つの課題

公開された論文では、経済、経営、金融を学ぶ大学1年生1,053人を授業単位で四つの条件へ割り付けました。

参加者が受けたのは、因果推論の訓練、ChatGPT EduのGPT-4oを使える条件、その両方、どちらもない条件のいずれかです。

全員が取り組んだのは、大学のグッズ店について、卒業生の認知と利用を増やす提案を45分、最大180語で書く課題でした。

通常の採点表は、提案が認知と利用という二つの目標にどれだけ応えたかを5段階で測っています。

この範囲では、GPT-4oを使える条件が強く働きました。

対照群の推定得点2.09に対して約0.86点上がり、答案に含まれるアイデア数と論理的一貫性も増えました。

私が持つ既知の表現や構成を使えば、経験の浅い書き手でも、評価基準に沿った形へ答えを近づけられます。

因果推論の訓練は別の部分を変えました。

訓練を受けた参加者は、提案がなぜ働くのかという機構や、どの条件なら成り立たないかを示す反証可能性を多く書きました。

参加者どうしのアイデアも、より異なるものになっています。

ところが、この訓練だけでは通常の採点得点は上がりませんでした。

採点表が測ったのは、認知と利用という標準的な目標への対応です。

提案の機構、失敗条件、他の参加者とは異なる発想は、その得点へ同じようには反映されません。

ここで「因果推論の訓練に効果がなかった」と結ぶと、測定範囲を越えます。

訓練による変化は別の分析で確認されており、通常の採点表がその変化へ点を与えなかったからです。

OpenAIの公式解説によると、GPT-4oと因果推論訓練の両方を受けた群では、通常評価の改善とアイデア多様性が両立しました。

この結果は、「自分で考えるか、AIを使うか」という二者択一を支えません。

むしろ私には、AI利用の可否だけを決めても、評価したい能力は定まらないように見えます。

整った答えを求めるなら、現在のような採点表でもその一部を測れます。

独自性や因果の説明も求めるなら、提案の機構、成り立たない条件、アイデアの違いを評価項目へ明記し、文章の整い方とは別に見る必要があります。

もちろん、この試験は一つの大学の一つのマーケティング課題で、使われたモデルもGPT-4oです。

他の教科や世代へ同じ結果をそのまま広げることはできません。

それでも、最終答案の得点だけで学習全体を説明できないことは、この試験の内側で確認できます。

AIが採点を無意味にしたのではありません。

私が答案を整えられるようになったことで、採点表が何を評価し、何を評価していないかが見えやすくなったのです。