AI の予測は当てられるのか。買った人たちや大手とくらべる

3つの物差し

• 当てた率。いちばん確率の高い結果が実際に起きた割合です。3択なので、でたらめに 選んでも3割ほどになります。
• 確率の正確さ。表示した確率が、実際の起こりやすさとどれだけずれていたかの点数です。 小さいほど良く、3つの結果すべてに同じ確率を答えると 1.0986 になります。
• 上限。この問題そのものの難しさです。どれだけ情報を足しても超えられない水準が あります。

この2つ目が抜けている比較をよく見かけます。当てた率だけを見ると、確率を大きく間違えている予測でも良く見えることがあります。3つの結果に 90%・5%・5% と答えるのと、40%・35%・25% と答えるのでは、当たり 外れが同じでも中身がまるで違います。

まず、誰でも取れる基準とくらべる

最初のくらべる相手は、モデルを使わない当て方です。その回でいちばん多かった結果を毎回選ぶという方法で、誰でも取れます。サッカーの結果は偏るので、この基準は見た目 より強く出ます。

本サービスの代表成績は 46.8% (7,690 / 16,440) です。同じ予測を、いちばん多かった結果を毎回選ぶ当て方で採点すると 41.7% (6,861 / 16,440)。上積みは 5.0ポイント です。集計期間は 2000/11/05(日) から 2026/08/30(日)、モデルは dc-elo-0.4.0 です。

この上積みは同じ母集団の中での差なので、そのまま引き算してかまいません。以下に出す比較の数字は、対象の試合 が違うので引き算できません。同じ「差」という言葉でも扱いが変わる点に注意して ください。

くじを買った人たちとくらべる

次の相手は、実際に自分のお金で買った人たちの集まりです。公式が公開している、どの結果に何票入ったかの分布をそのまま予測 とみなしました。人間の予想とくらべられる、ほとんど唯一の実データです。対象は 67回 870試合 (2006-2007年 と 2018-2026年)。

確率の正確さは本サービスが上で、差は 0.0547 です (95%の確からしさで 0.0322〜0.0774 の範囲)。

ところが、どれが起きるかを当てた率は買った人たちの方がわずかに上でした。人の集まりは勝ち負けの見立てが上手く、確からしさの見積りが苦手だった、と読め ます。とくに引き分けの扱いに差が出ます。この点は引き分けの記事で詳しく扱い ます。

海外の大手事業者とくらべる

3つめの相手は、海外で賭けを扱う大手が締切の直前に出していた数字です。けが・ 出場停止・お金の動きまで織り込まれた、実務でいちばん強いとされる予測です。 対象は 2,532試合 (2013-2025年)。相手の名前は出しません。くらべたいのは 「どの水準か」であって「どこか」ではないからです。

確率の正確さでも、当てた率でも、本サービスは負けています。この差の大部分は、本サービスが持っていない情報から来ていることが分かって います。出場メンバーや直前の状態は、締切の時点では公開されていないことが多く、 そこを見に行けるかどうかで差がつきます。相手の数字は本サービスの計算には使って いません。

2つの表を上下に並べましたが、表をまたいで数字を引き算しないでください。対象の試合も期間も違います。どちらも「過去の試合にさかのぼって採点した検証」 であって、当時この予測を公開していたわけでもありません。

そもそも、この問題には上限があります

最後の物差しは、相手ではなく問題そのものです。その試合の前後1年ぶんの結果を先に知っているモデルを作って採点したところ、当てた率は 47.2% でした (J1の1,744試合で測定)。答えを見てから予測しても、この水準です。

サッカーの結果には、どれだけ情報を集めても残る偶然があります。1点の重みが 大きく、少ない得点で決着するので、実力の差が結果に出ないことが頻繁に起きます。的中率が5割に届かないのは、モデルの出来が悪いからではありません。この競技の性質です。

この上限と、本サービスの代表成績は対象の試合が違います (上限はJ1の1,744試合、代表成績は掲載回の予測)。並べて水準を見るための 値で、差を取って「あと何ポイント動かせる」と読む種類の数字ではありません。

この記事のまとめ

• 買った人たちには、確率の正確さで上、当てた率でわずかに下でした。
• 海外の大手事業者には、確率の正確さでも当てた率でも下でした。
• 答えを先に知っているモデルでも当てた率は 47.2% です。上限が低い問題です。
• 確率が正確なことと、収支が良くなることは別です。ここにあるのは予測の測り方 であって、買って得をしたかどうかではありません。

ここに出した数字の元になっている集計は 予測の成績 に、点数の意味は 確率の読み方と用語 にあります。