予測と得票が分かれた試合はどうなったか
公開
くじを買った人たちの得票が最も多かった結果と、本サービスの本命 (最も確率が高いと出した結果) が、同じ試合で一致していたのか、 分かれていたのかを比べます。対象は 1,268枠で、得票のある枠のうち、本サービスの予測が付いているものだけを数えています。得票と予測は別々に作られており、片方がもう片方を参考に していません。同じ結果を指すこともあれば、別々の結果を指すこともあります。
ここには大事な注意があります。この比較には、当時公開していなかった時点の予測をさかのぼって 計算したものを含みます。 1,268枠のうち、締切前に実際に公開していた予測は 20枠だけで、残り 1,248枠は、モデルを採用したあとでその締切に向けて計算し直したものです。 締切前に実際に画面へ出ていた予測ではありません。さかのぼり計算と 前向きの予測の違いは さかのぼり計算と、前向きの予測の違い で詳しく説明しています。
予測と得票、どれだけ一致しているか
予測と得票はどのくらい一致するのか
得票が最も多かった結果と、本サービスの本命が同じだった枠は 1,050枠 (82.8%)でした。残りの 218枠では、得票の本命と本サービスの本命が別の結果を指していました。
参考として、この 1,268枠だけに絞って集計すると、得票の本命が実際に起きた割合は 45.0%、 本サービスの本命が実際に起きた割合は 46.0%です。この数字は、得票のある枠全体 (crowd集合) を使ったみんなが選んだ本命は、どのくらい的中しているのかの数字とは分母が違うので、そのまま並べて比べないでください。
分かれた枠は、どちらに近かったか
分かれたとき、どちらが正しかったのか
得票の本命と本サービスの本命が分かれた 218枠について、実際の結果がどちらに近かったかを3つに分けます。
| 実際の結果 | 枠数 | 分かれた枠に占める割合 |
|---|---|---|
| 得票の本命が正しかった | 77 | 35.3% |
| 本サービスの本命が正しかった | 89 | 40.8% |
| どちらも外れた | 52 | 23.9% |
得票と予測がぶつかったとき、どちらか一方が常に正しいわけではありません。 上の表の3行目 (どちらも外れた) が示すとおり、買った人たちにも本サービスにも見えていなかった結果になる枠が一定の割合であります。たとえば得票の本命が「ホーム勝ち」、本サービスの本命が「引き分け」だった 試合で、実際には「アウェイ勝ち」になれば、この行に数えます。結果が3択で ある以上、2つの見方がどちらも外れる枠が一定数出るのは避けられない性質です。
分かれやすいのは、どんな試合か
得票が拮抗した試合ほど、予測とも意見が割れやすいのか
区分ごとに一致・不一致そのものを数えた集計はありませんが、 手がかりになる数字があります。得票が最も多かった結果に対して、 本サービスが平均でどれくらいの確率を割り当てていたかです。 「〜40%」の区分では、得票の本命の平均得票率が 37.5%だったのに対し、本サービスが同じ結果に割り当てていた確率の平均は 36.4%でした。
一方、いちばん得票が偏った「70%〜」の区分では、得票の本命の 平均得票率 75.8%に対し、本サービスの平均確率は 52.5%です。実際にはむしろ逆で、得票が偏った区分の方がこの2つの数字の差は 大きくなっています。得票が1つの結果に大きく偏っても、本サービスの確率はそこまで極端には 寄らないことがあるということです。得票の拮抗度合いだけで、予測との意見の割れやすさを 一方向に決めつけることはできません。
ここで使っている確率の平均は、得票のある枠のうち本サービスの予測が 付いている枠 (paired集合、さかのぼり計算を含む) だけで計算しています。 区分ごとの一致率そのものを集計したものではないため、目安として 読んでください。
締切前に公開していた予測だけで見ると
締切前に公開していた予測だけの比較は、件数がそろってから載せます。 いまの公開データでは、この条件に当てはまる枠がまだ100件に届いて いません。上に書いた集計は、さかのぼって計算した予測を含んでいます。
どちらを信じるかではなく、不確かさの目印として読む
この記事の数字は、「得票と予測、どちらを信じればいいか」を決めるためのものではありません。上の表のとおり、分かれた試合では得票が正しいこともあれば、本サービスが 正しいことも、どちらも外れることもあります。むしろ読み取ってほしいのは、買った人たちの多数派と、本サービスの計算が別の結果を指している試合ほど、 その試合の結果に不確かさが大きいということです。得票は本サービスの予測の入力には使っていないため、 この一致・不一致は2つの独立した見方が、たまたま同じ結果を指したかどうかを表しています。2つの見方が割れている試合ほど、90分の結果を先読み することは難しい、という受け止め方が実態に近いでしょう。
この記事のまとめ
- 得票と予測の両方がそろった 1,268枠のうち、本命が一致したのは 1,050枠 (82.8%) でした。
- 分かれた 218枠の内訳は、得票が正しかった 77枠、本サービスが正しかった 89枠、どちらも外れた 52枠です。
- この比較には、さかのぼり計算の予測を 1,248枠含みます。締切前に公開していた予測だけの比較は、まだ件数が100件に届いていないため載せていません。
- 得票は本サービスの予測の入力には使っていません。分かれた試合は、 どちらを信じるかではなく、不確かさが大きい試合として読んでください。
得票が偏った試合と番狂わせの関係は 人気が偏った試合ほど、番狂わせは少ないのか、本サービスの自信度バッジの仕組みは 自信度 高・中・低は何を意味するのか にまとめています。あわせて読むと、得票・予測・自信度という3つの目印を どう使い分けるかが見えてきます。