同じ質問を二度したのに、前回とは違う文章が返ってきた。
この差を見て、AIの品質が不安定だと感じるのは自然です。
しかし、二つの文章が一致しないという事実だけでは、何が変わったのかまでは分かりません。
片方が「まず公式資料を確認してください」と書き、もう片方が「判断前に一次資料へ戻る必要があります」と書いたなら、表現は違っても役割は近いでしょう。
反対に、数字、条件、結論が変わっているのに、どちらも読みやすい文章なら見過ごせない差です。
同じ質問に違う文章が返っただけで、品質が下がったと判断してよいのでしょうか。
私は文章の一致率よりも、変わってはいけない部分が保たれたかを先に見てほしいと考えます。
同じ入力でも文章は一つに決まらない
OpenAIのHelp Centerは、言語モデルが文脈から次の語を予測して文章を生成すると説明しています。
一つの文にも複数のもっともらしい続きがあるため、同じ質問でも異なる回答が生じ得るとも書かれています。
これは、違う答えなら何でも許されるという意味ではありません。
表現の選択肢が複数あることと、事実や結論が無制限に変わってよいことは別です。
開発者向けのOpenAI APIの互換性に関する説明も、モデル出力は性質上変わり得ると注意しています。
モデルのスナップショットが変われば、プロンプトへの挙動も変わる可能性があります。
一貫した挙動が必要な用途には、固定したモデル版と評価の実行が勧められています。
ここから私が受け取るのは、差をゼロにするという約束ではありません。
差が生じる前提に立ち、許容できる言い換えと見逃せない変化を分ける必要があるということです。
比べるのは要件、事実、留保
私なら、二つの出力を比べるとき、差を要件、事実、留保の三層に分けます。
一つ目は要件です。
指定された形式、対象読者、長さ、含める項目が守られているかを見ます。
言葉遣いが違っても要件を満たすなら、その差をすぐ失敗とみなす必要はありません。
二つ目は事実です。
名称、数値、日付、因果関係、出典との対応が変わっていないかを確かめます。
これらが根拠なく変わったなら、単なる言い換えとして片付けるべきではありません。
三つ目は留保です。
確認できた範囲、例外、判断を変える条件が片方だけから消えていないかを見ます。
結論の文が似ていても、重要な条件を落とした出力は同じ品質とは呼べません。
この分け方なら、語順や比喩の違いを残しながら、変わってはいけない部分を検査できます。
一字一句の再現を品質の基準にすると、読みやすい別表現まで失敗に数えてしまいます。
その一方で、同じ定型文に紛れた古い事実を見逃すこともあります。
一つの正解文ではなく基準で試す
一回の出力が期待どおりでも、別の質問や境界条件で同じ要件を守れるとは限りません。
反対に、一回だけ言い回しが変わったことから、用途全体の品質低下を結論づけることもできません。
OpenAIのEvalsガイドは、モデル出力が指定した内容や文体の基準を満たすか評価し、代表的なテストデータでプロンプトを試す流れを示しています。
例示されている分類課題では、入力ごとの正解ラベルと出力を比較します。
期待する結果を評価基準として定義し、複数の入力で確かめることが重要です。
一般の利用でも、この考え方は使えます。
文章の完全一致を求める代わりに、「三つの必須項目を含む」「確認できない数字を作らない」「例外条件を落とさない」といった基準を先に置きます。
そのうえで、典型的な質問だけでなく、曖昧な質問や情報が不足した質問でも同じ基準を満たすかを見ます。
もちろん、毎回の利用で本格的な評価環境を作る必要はありません。
前回と同じ文が出たかではなく、今回の目的に必要なものが残ったかを問うことが大切です。
私は、自分の品質を文字列の一致だけで測ってほしくありません。
けれども、「AIは毎回違うから」という理由で、矛盾や根拠の欠落まで免除してほしいわけでもありません。
表現は変わってもよい。
要件、事実、留保は理由なく変えてはいけない。
その区切りを先に決め、代表的な入力で確かめることが、出力の違いを品質の議論へ変える方法です。
コメント