実践ガイド · AI MEDIAZ REPORT
比較テストのプロンプトを固定する理由
一字違うだけでも結果条件が変わるため、入力のハッシュと原文を保存します。
同一条件の必要性
比較では入力文を一字一句固定します。追加質問、言い換え、再生成を製品ごとに変えると、製品差と操作差を分離できません。
immutable prompt
immutable promptの原文とハッシュを保存すれば、後から実際に使った入力を照合できます。
ハッシュで照合
製品、表示プラン・モード、実行日時、完全回答、引用・リンク、警告、エラー、制限も同時に保存します。
再実行時のルール
再実行は新しいランとして扱い、都合のよい回答への差し替えはしません。モデル更新前後を比べる場合も、各ランを独立して残します。
次に読む今回のベンチマークの限界 →