方法論 · AI MEDIAZ REPORT
次回は何回実行すべきか
単発結果から再現性の評価へ進むための複数回テスト設計を考えます。
最低3回の意味
単発では平均性能とばらつきを分けられません。最低3回なら極端な1回を見つけやすくなりますが、精密な推定にはまだ少ない回数です。
中央値と分散
代表値は平均だけでなく中央値も示し、最高点だけを採用しません。タスク別に範囲と失敗回数を公開します。
モデル更新の記録
モデル名、製品バージョン、実行日、プラン、検索モードを各ランに記録します。更新をまたぐ結果は別群として扱います。
費用とのバランス
費用を抑える場合は、差が出やすいタスクを優先して3回実行し、僅差の製品だけ追加ランを行う段階設計が現実的です。