▼▼▼▼▼▼▼▼
チャンネル登録はこちら

画像処理とAlphaGoディープネット

2016年３月、米グーグル子会社のディープマインド社によって開発された囲碁ソフトAlphaGoと韓国の棋士イ・セドル九段の対戦が行なわれました。

それまで囲碁ソフトはアマチュアトップレベルの棋力を実現してはいたものの棋力の伸びが頭打ちに近い状況にあり、世界チャンピオンの栄冠を何度も獲得していた世界のトップ棋士であるイ・セドル九段とまともに勝負できると考えていた人は少なかったと思われます。

ところが蓋を開けてみればAlphaGoが５戦して４勝1敗という結果に終わりましたから、AlphaGoが囲碁界に与えたショックの大きさは想像もつきません。

チェス、将棋といったゲームは既にコンピューターが人間のトップを超える能力を示しています。

しかし、囲碁界の一般的な認識では、囲碁ソフトが人間のトップに勝てるようになるのは10年以上先のことと思われていました。

コンピューターにゲームをプレイさせるためには局面を入力してどちらが有利なのか判定させる必要があります。

そうすることができれば基本的には自分の有利を拡大させられる手を見つけてそれに従えば良いのです。

このような判定を行うロジックを評価関数と呼びます。

囲碁以外のゲーム､例えばオセロといったゲームでは角を取るのが得、という知識を基にどちらが有利であるかある程度判定することができますし、チェスや将棋といったゲームでも王将やキングといった絶対的に重要な駒とその周りの駒との相対的な位置関係によって有利不利が強く影響を受けるため、これらを丹念に評価ルールに落しこんでいけばある程度の評価関数は作成できます。

しかし囲碁は他のゲームと異なり評価関数が非常に作りづらいゲームだったのです。

囲碁では石自体に軽重があるわけではなく、どの石のどの形に着目して有利不利を判定すれば良いのかルール化できません。

そこで2000年代後半になって｢その局面からランダムに囲碁を打っていき、何勝何敗になるかを計測する｣といった力づくの方法が発明され、それが広く使われておりました。

ある意味、人間が局面の評価ルールを作りだすことを放棄したとも言えます。

しかしこの手法により囲碁ソフトの棋力が一段上のレベルとなり､アマチュアトップレベルに近づけたのでした。

AlphaGoに搭載されている手法はこの｢ランダムに打って何勝何敗か数える｣方法の延長線上にあります。

AlphaGoでは二つの評価方法を併用していますが、一つ目の方法は画像処理に用いられるディープネットの一種であるCNN(Convolutional Neural Network)という技術を用いて､人間同士の棋譜を学習データとして、囲碁の盤面の画像から｢強いプレーヤーが次に打ちそうな箇所を予想する｣ディープネットを構築します。

そして、それを用いて終局まで打つことで勝率の評価をします。

ある局面を評価するのに今までのようにランダムに打ち進めるのではなく、強いプレーヤー同士の対局の真似をするディープネットを用いて評価を行うという訳です。

二つ目の評価方法は一つ目のショートカットのようなもので、局面のデータのみからーつ目の手法で計算される勝率を直接予想するCNNを構築します。

そして二つの方法を合算して評価関数として用いています。

複雑な仕組みに思われるかもしれませんが、強いプレーヤーの打ち手予想を行うディープネットが全ての元になっています。

強い人間同士の棋譜を用いて最初のバージョンの打ち手予想ディープネットが学習された後、今度はこのディープネット同士で囲碁を打たせ、その棋譜を用いて再度打ち手予想ディープネットを学習させます。

すると最初のバージョンのディープネットより棋力がほんの少しだけ高い、別バージョンの打ち手予想ディープネットが出来上がります。

最初のバージョンのように人間の棋譜を外から与えて学習させる方式を教師あり学習と呼び、それ以降の自分自身が生みだす棋譜のみを使用して学習する方式を強化学習と呼びます。

そしてこの強化学習を数限りなく繰り返すことでAlphaGoは人類トップを超える棋力を実現したのです。

AlphaGoはイ・セドル九段との対戦の際、解説者がしばしば絶句するような人間の理解の範疇を超えた手を打ちました。

はっきりミスだと解説された手もあります。

しかし対局が進むにつれ、ほとんどの場合AlphaGoの構想が人間を上回っていたことが判明していきました。

このように人知を超えた棋力を発揮したAlphaGoですが、その心臓部は先述したとおり、局面の画像を元にした打ち手予想ディープネットなのです。

AlphaGoは囲碁の局面の画像を処理する画像処理技術の一種であると言えるでしょう。

AlphaGoは2016年3月、韓国の囲碁棋士イ・セドル九段との対戦で5戦中4勝を収め、囲碁界に大きな衝撃を与えました。この対戦は、米グーグルの子会社ディープマインド社によって開発された人工知能AlphaGoがプロ棋士に挑戦する初の試みであり、囲碁ソフトの可能性を大きく変えた出来事として記録されています。それまでの囲碁ソフトはアマチュアのトップレベルに留まっており、トップ棋士に勝つことは不可能と考えられていました。特に、世界チャンピオンの称号を何度も獲得したイ・セドル九段に対しては、真剣勝負で対抗できると考えた人はほとんどいなかったでしょう。しかしAlphaGoが4勝1敗という結果を出したことで、囲碁界の一般的な認識が一変しました。この結果は、コンピューターがチェスや将棋といった他のボードゲームでは既に人間を超える能力を示していたものの、囲碁においてはトップ棋士に勝つまでには10年以上かかると考えられていた常識を覆しました。コンピューターが囲碁のような複雑なゲームをプレイするには、局面を解析し、どちらが有利かを判定する評価関数が不可欠です。例えば、オセロでは角を取ることが重要というシンプルなルールを基に有利不利を判定することが可能であり、チェスや将棋ではキングや王将といった重要な駒とその周囲の駒の位置関係が評価に強く影響します。そのため、これらのゲームでは評価関数を丹念に設計することで、ある程度高い棋力を持つソフトを開発できました。しかし囲碁では評価関数を構築するのが非常に困難でした。囲碁では石そのものに軽重がなく、どの石や形に注目して有利不利を判断すれば良いのかをルール化することが難しいためです。この問題を克服するため、2000年代後半には「局面からランダムに囲碁を打ち進め、何勝何敗になるかを計測する」という手法が登場しました。この方法は、人間が評価関数を作ることを事実上放棄した形とも言えますが、このアプローチにより囲碁ソフトの棋力はアマチュアトップレベルに近づきました。AlphaGoの手法は、この「ランダムに打ち進める」方法の延長線上にありますが、より高度な技術を導入することで一段と強力な能力を実現しました。AlphaGoでは二つの評価方法を組み合わせて使用しています。一つ目は、画像処理に使われるディープネットの一種であるCNN（Convolutional Neural Network）を活用し、人間同士の対局データを学習して、囲碁の盤面から「強いプレーヤーが次に打つであろう箇所」を予測するモデルを構築します。このディープネットは、囲碁の局面を画像として認識し、その画像から次の手を予測する役割を果たします。この方法により、ランダムに打ち進めるのではなく、強いプレーヤーの動きを模倣する形で局面の評価を行うことが可能になりました。二つ目の評価方法は、局面データから直接勝率を予測するディープネットを構築するもので、一つ目の方法をショートカットする役割を果たします。これら二つの方法を組み合わせて評価関数を作り、AlphaGoの高い棋力を支えています。AlphaGoの技術的な革新はここに留まりません。最初に、人間同士の対局データを使ってディープネットを学習させることで基本モデルを構築し、その後はこのディープネット同士で囲碁をプレイさせて新たな対局データを生成します。このデータを用いて再び学習を行うことで、棋力をさらに向上させます。この自己対局による学習プロセスを強化学習と呼び、最初の人間の棋譜を基にした教師あり学習とは異なるアプローチです。強化学習を繰り返すことで、AlphaGoは次第に人間トップ棋士を超える能力を獲得しました。AlphaGoがイ・セドル九段との対戦で見せたプレーはしばしば人間の理解を超えたものでした。解説者がミスと判断した手が試合の後半で勝利に繋がるなど、従来の常識では理解できない構想が数多く見られました。このようにAlphaGoは囲碁界に革新をもたらし、その根幹にある技術はディープネットと画像処理技術にあります。囲碁の局面を画像として処理し、次の手を予測するこの技術は、従来の囲碁ソフトとは一線を画するものでした。AlphaGoの成功は、人工知能が人間の能力を超える新たな可能性を示したと同時に、ディープラーニングや強化学習といった技術の可能性を広く知らしめるきっかけとなりました。