Hatena::Groupculdcept-ds

カルドセプトDSメモ(M7星雲分室)

2009-05-11

強さの評価法【95%保証勝率】

03:16

カルドセプトの強さを評価するのはけっこう難しいものです。

客観的に分かりやすいのは勝率だと思いますが、まず対戦相手によっても変わりますし

「20戦して10勝した」と「100戦して48勝した」ではどちらが強いと判断するのが難しいですよね。

また、「最近10戦で8勝2敗」というと相当強そうですが、本来の勝率が2割の人でも

ゲームを続けていればこのようなことも十分起こり得ます。

そんなわけで、「強い」ということは印象や曖昧な数字に左右されやすいことになります。


強さを評価するのにはレーティング制も良いと思いますが、勝率での評価法を1つ紹介します。

たくさん試合数をこなせば本来の勝率(イノセンスさんに倣って潜在勝率と書きます)に近づくのは感覚的にわかると思いますが、

実際に無限に試合をすることはできないので、試合数と勝ち数から

「95%の確率で、あなたはこの勝率以上の実力をもっていますよ」と保証できる数字を導く方法です。


以下、某サイトから計算式丸パクリ^^;

数式は一応写してあるだけなので、好きな方以外はすっ飛ばしてください。

----------------------------------------------------------------------------

N:対局数, n:勝数,1-α:信頼率(信頼率95%ならα=0.05),Microsoft Excel表記)。


(勝率上限)=(n+1)/(n+1+(N-n)*finv(1-α/2, 2*(N-n), 2*(n+1)))

(勝率下限)=n/(n+(N-n+1)*finv(α/2, 2*(N-n+1), 2*n))

----------------------------------------------------------------------------

考えるのが面倒だと思うので、計算のため超簡単なエクセルファイル置いておきます。

出てくるのはこんな数字。

------------------------------------------------------------------

対戦数 150 勝率 56.00%

勝利数 84 勝率上限 62.86%

信頼率 0.9 勝率下限 47.67%

α 0.1


信頼率αを0.9とした場合、95%以上の確率で勝率下限の勝率は保証されている。

------------------------------------------------------------------

(まじめに考えている方に補足)

(α=0.9のとき90%の確率で潜在勝率が下限~上限に入るため、下限以上の勝率がおよそ95%あると見ています。)

(基本が二項分布のため、この切り方は正確ではない可能性があります…補正できる知識をお持ちの方がいれば教えてください。)

(厳密ではなくとも、「およそ」95%ということを考えれば、評価法としてはそんなに悪くないと思うのですが。)


例に挙げたこの人はランキング戦で150戦し84勝を上げ、勝率56%でした。

このとき、「勝率下限」と書いてあるものが保証できる勝率であり、

「この人のこの環境での勝率」は47.7%以上あると推定できます(5%の確率で下回りますが)。



使うのに大切なことは、「ある特定の環境における全てのゲーム勝敗を記録しておく」ことです。

あるいは、どうしてもネタブックで遊ぶとわかっている場合はゲーム前から記録しないことを決めておきます

(AI込みは同じ環境とは思えないので、誰かがAI化などどうにもならないものは除いていいと思いますが。)


この数字は人と競うためにあるというより、自己評価のためと言えるでしょうか。

私が使うとしたらランキング戦(あるいは対戦数の多いリーグ戦)に限り、3人戦/4人戦の記録は分けるでしょう。

個人的にな感覚では、今のランキング4人戦で50%超えすればトップクラスの実力者で、60%到達すれば神・人外(ぉ

3人戦なら60%いけば相当の上級者ではないでしょうか。

4人戦で保証勝率が25%…つまり4分の1を超えれば、友達に十分自慢していいレベルだと思います。

マップによって順当に勝ちやすい、勝ちにくいがあるので、どうしても分けたいならば

(対戦数は減りますが)護符の有無で分けるなどということも考えられます。


ちなみに、保証勝率が50%を超えるには最短で6勝(単に6連勝ではなく、開幕6連勝)が必要です。

20戦した場合は15勝が、50戦した場合は33勝が、100戦した場合は61勝が必要ですね。

これだけゲームするのに何十時間かかるかわかりませんがw