正解したという事実は、一回の回答が期待された結果に一致したことを示します。名前や数字を変えたり、無関係な一文を加えたりすると不安定になるなら、どこで失敗したかを調べる必要があります。数学評価には難問だけでなく、条件を制御した診断が必要です。

資料確認日は 2026-11-14 です。本稿は研究方法と実験案を説明します。Folkbench はモデルを実行しておらず、以下の問題と数字は説明用で、実測スコアではありません。

数学能力を構成する複数の段階

文章題では、数量と単位の認識、関係の理解、式の構成、計算、指定形式での回答が必要です。どの段階の失敗も同じ零点になり得ます。最終正答率は成果を測りますが、誤りの仕組みまでは説明しません。

式は正しいが掛け算を間違えた場合と、関係を誤解したのに偶然正解した場合は違います。観測できる式と回答を調べても、流暢な説明が内部計算を完全に記録しているとは考えないでください。ツール使用時は呼び出しと返却値の扱いも確認します。

GSM-Symbolic が制御するもの

GSM-Symbolic は GSM8K から記号的テンプレートを作り、複数の問題を生成します。実験設計は 100 テンプレート、各 50 例、計 5,000 例です。数字、名前、条件の複雑さ、無関係な情報が安定性の異なる側面を示します。

参考になるのは関係を固定して表面的条件を変える方法です。過去の結果表を後の全モデルに適用することではありません。対象は特定のモデルと手順であり、2026 年の全システムではありません。著者の機構に関する解釈と、行動上の観察も分けます。

先行する無関係な文脈の研究と数学的頑健性の因果分析も関連する方法を示しています。これらは制御実験を支持しますが、注意がそれることだけで、すべての課題で推論できないとは証明できません。

有効な問題変種とは何か

以下は独自の教材例で、ベンチマーク問題でもモデルへの実験でもありません。店に鉛筆が 6 箱あり、一箱に 8 本、9 本を配ります。残りは 6 × 8 − 9 = 39 本です。

変種変更確認する答え
名前店を学校に変更し関係は保持39 のまま
数字7 箱、一箱 6 本、配る数 8 本再計算して 34
言い回し指示対象を明確にして順序変更39 のまま
無関係情報箱が青いと追加39 のまま

数値を変えたら正解も再計算します。任意に負の数量を使う、割り切れた分配を割り切れなくする、簡単な算術を巨大な数の計算にする、といった変更は難度や意味を変えます。

無関係性は特に人の確認が必要です。「二箱は予約済み」と加えると、利用可能な在庫を問うと解釈する余地があり、答えが不変とは明確に言えません。解答に影響しない情報か先に検証します。無効な変種は結果を見る前に除き、特定モデルが失敗する問題だけを後から選びません。

層別した実験を設計する

複数の関係型と難度を選び、各原題に同数の変種を作ります。一度に変える主要因は一つにします。開発問題で指示と解析器を調整し、正式なテストを固定した後は、その点数を見て指示を選び続けないようにします。

モデル版、言語、指示、ツール、サンプリング、出力予算、回数を固定します。出題順をランダム化し、一問ごとに独立した文脈を使って変種間の答え漏れを防ぎます。複数ターンの学習を調べる場合は別手順にします。

標本数は見分けたい効果と予算から決めます。一つのテンプレートを大量に増やしても、その安定性を測るだけで、広い推論能力を網羅したことにはなりません。類題の数より関係と難度の代表性が重要です。

正答率と安定性を併記する

変種別の正答率と原題との差を対応づけて報告します。原題と変種の両方が正しい割合も、成功の持続を示します。原題を解けた例だけを選び、全体の比較として示してはいけません。その部分集合を使うなら、分母と選択規則を明示します。

仮に原題が 80%、変種が 68% なら、低下は 12 パーセントポイント、相対的には 15% です。これは単位の教材例であり、GSM-Symbolic や Folkbench の結果ではありません。全言語でこの区別を保ちます。

同じテンプレートの変種には依存があります。Adding Error Bars to Evals は関連問題と対応比較を扱います。一案はテンプレート単位の再標本化で、各回に両モデルへ同じ問題群を使います。方法、95% 区間、生成反復数を公開します。

電卓は診断を助けるが測定対象を変える

外部計算ツールなしの条件と、同じ電卓インターフェース・呼び出し上限を与える条件を分離できます。後者はモデルとツールを合わせたシステムの評価なので、別結果にします。

ツールで改善したら、元の誤りが算術に集中していたか調べます。ただし他の推論がすべて正しい証明にはなりません。指示、解法の経路、時間予算も変わり得るからです。式、ツール要求、結果の使用を記録すると診断が具体的になります。

証明問題では数値答案だけの採点は特に不十分です。全場合の網羅や未証明の仮定の有無には別の検証が必要です。形式的検証器で導出を確認できても、形式化が原題を忠実に表しているかは点検が必要です。

難度と頑健性は別の軸

FrontierMath は専門家が作成した難問と自動検証可能な答えを使います。高難度の能力を探る一方、GSM-Symbolic は制御された変化への安定性を調べます。相互の代わりにはなりません。

難問を解いても簡単な言い換えで失敗するモデルも、安定していても複雑な数学を扱えないモデルもあり得ます。難度、変種、ツール条件を分けて示し、数学的 IQ にまとめないようにします。

提案する基準は、正解、制御された変更、解釈可能な誤り、適切な統計単位、明確な予算です。印象的な解答を検証可能な比較へ変えるための条件です。共通の記録要件は[ランキングの信頼性](/ja/blog/llm-benchmark-rankings-contamination/)を参照してください。