表示した確率は合っているのか。ずれの測り方
公開
「表示している確率は、本当に合っているのでしょうか。」この問いに答えるには、「当てた率」と「確率の正確さ」という2つの物差しを分けて考える必要があります。当てた率は、いちばん確率の高い 結果が実際に起きた割合です。確率の正確さは、出した確率そのものが実際の起こり やすさとどれだけずれていたかを測る点数です。この記事では後者、確率のずれの 測り方と、本サービスの実測を説明します。
確率のずれには、2つの点数があります
LogLossとBrierスコアとは何ですか
LogLossは、実際に起きた結果に割り当てていた確率をもとに計算する点数です。実際の 結果に高い確率を出していれば小さな値に、低い確率しか出していなければ大きな 値になります。小さいほど良く、良い方の端は0です(実際に起きた結果に100%を 割り当てていた場合)。基準になる当てずっぽう(3つの結果すべてに3分の1を 割り当てる予測)のLogLossは 1.0986 です。
Brierスコアは、確率と実際に起きたかどうか(1か0)の差を2乗し、3つの結果ぶん足した 点数です。こちらも小さいほど良く、当てずっぽうの値は 0.6667 になります。計算のしかたはLogLossと違いますが、どちらも「確率が実際の起こりやすさからどれだけ離れていたか」を測る点数だという点は同じです。的中したかどうかだけを見る当てた率とは、 見ているものがそもそも違います。
もう一つ、RPSという点数もあります。ホーム勝ち・引き分け・アウェイ勝ちという結果の 並び順を見て、離れた結果ほど大きく減点する点数で、これも小さいほど 良い点数です。LogLossとBrierは3つの結果を対等に扱いますが、RPSは 「ホーム勝ちの確率を高く見積もっていたのに、実際はアウェイ勝ちだった」 方を、「実際は引き分けだった」場合より重く見ます。当てずっぽうの基準は 引き分けの起きやすさによって変わり、本サービスの代表成績と同じ引き分け の割合で計算すると 0.2360 になります。
本サービスの確率のずれの実測
この点数を、実際にどう使っているかを示します。くじを買った人たちの得票の 分布と、本サービスのモデルが出した確率を、同じ試合で並べた検証があります (対象は 67回 870試合 (2006-2007年 と 2018-2026年))。
本サービスのモデルのLogLossは 1.0314 で、当てずっぽうの 1.0986 より小さく(良く)、買った人たちの得票をそのまま予測とみなした場合の 1.0861 よりも小さくなっています。差は 0.0547 で、95%の確からしさで 0.0322〜0.0774 の範囲に収まります。確率の正確さでは、本サービスが買った人たちの集まりを 上回っています。
確率の正確さと、当てた率は入れ替わることがあります
なぜ確率が正確な方が、当てた率で負けることがあるのですか
同じ検証で当てた率を比べると、逆の結果になります。買った人たちの当てた率は 48.16%、本サービスのモデルは 47.36% で、買った人たちの方がわずかに高くなっています。確率の正確さでは本サービスが上なのに、当てた率では買った人たちが上、 という逆転が起きているわけです。
この逆転は、2つの物差しが別物であることをそのまま表しています。人はどれが 起きるかを言い当てるのは得意な一方、確からしさの見積もり(強く言い切るか、 幅を持たせるか)は粗くなりがちです。モデルは慎重な確率を出すぶん、大きく 外したときの減点は小さくなりますが、いちばん確率の高い結果を選ぶだけの 当てた率では、その慎重さが得点にならないことがあります。
この差が大きく出やすいのが、引き分けの扱いです。引き分けは3つの結果の 中でいちばん起きにくいので、いちばん確率の高い結果として選ばれることは めったにありません。買った人たちが引き分けをどれだけ選んでいたかという 実測は、別の記事で詳しく扱っています。ここで押さえておきたいのは、当てた率の勝ち負けだけでは、確率の作り方の巧拙は分からない、という点です。
確率が正確でも、超えられない上限があります
確率をもっと正確にすれば、いつか当てた率も上がるのですか
上がりません。的中率には、確率の正確さとは別に、この問題そのものの難しさで 決まる上限があります。その試合の前後1年ぶんの結果を先に知っているモデルで測っても、当てた率は 47.2% でした (J1の1,744試合で測定)。確率のずれをどれだけ小さく しても、この上限を超えることはできません。
この値と、上で見た確率のずれの実測は対象の試合が違います。並べて 水準の見当を付けるための数字であって、引き算して「あと何ポイント」と読む 種類の数字ではありません。
代表成績とあわせて読む
本サービスの代表成績は、締切直前の予測を 16,440 件集めたもので、当てた率は 46.8%、最も多かった結果を毎回選ぶだけの基準は 41.7% です。この当てた率だけを見ても、確率がどれだけ正確かは分かりません。確率の 正確さは、ここまで見てきたLogLossやBrierのような、確率そのものを採点する 点数でしか測れないからです。集計期間は 2000/11/05(日) から 2026/08/30(日)、モデルは dc-elo-0.4.0 です。
この記事のまとめ
- LogLossとBrierは、確率そのもののずれを測る点数で、どちらも小さいほど 良い点数です。当てずっぽうの基準は LogLoss 1.0986、Brier 0.6667 です。
- 買った人たちとの比較では、本サービスの確率の正確さが上でした。ところが 当てた率は買った人たちの方がわずかに上で、2つの物差しは別物だと 分かります。
- 的中率には上限があり、確率の正確さを上げても超えられません。答えを先に 知っているモデルでも当てた率は 47.2% でした。
- 確率のずれが小さいことと、よく的中することは、別に測って、別に読む必要が あります。