ディープラーニングの歴史

最近良く耳にするようになったディープラーニングというものが何なのか、その始まりの歴史から解説します。

ここでは、ディープラーニングというものが決してある日突然出現したものなのではなく複数の研究者による長い年月をかけた研究の末、産まれたものであること、特にある一人の研究者の執念とも言える研究活動の結果、確立されたものであることを知っていただけたらと思います。

人工知能研究の始まり

昨今、人工知能という言葉をメディアで目にしない日がないほどの人工知能ブームが続いています。

このようなブームが発生したのは人工知能研究におけるいくつかの画期的な成果が続けて世に示されたからですが、その中でもディープラーニングの登場は特に重要な位置を占めています。

このディープラーニングはニューラルネットワークと呼ばれる人工知能技術が基礎となっています。

これは、コンピューター上で神経細胞（ニューロン）ネットワークをシミュレートすることで知的な処理をコンピューターに行なわせる技術です。

そしてこのニューロンを多段に接続した深い階層を持つニューラルネットワークのことがディープネット、それを学習させていく技術のことがディープラーニングと呼ばれているものの正体です。

ディープラーニングを用いると、従来の常識を遥かに超えた知的な振舞いをする人工知能が実現させられることが分かり、それが昨今の人工知能ブームへとつながっているのです。

ここではまず、このディープラーニングという技術が登場するまでのニューラルネットワーク研究の歴史を少し振り返ってみたいと思います。

1943年、生理学者ウォーレン・Ｓ・マカロックと数学者ウォルター・ピッツが、その頃すでに明らかにされつつあった神経細胞の電気活動を模した数学的モデルを考えだしました。

これを形式ニューロンと呼びます。

彼らは、この形式ニューロンをつなぎ合わせたものがコンピューターと同じ計算能力を持っていることを明らかにしました。

これにより脳とコンピューターが本質的には同じ機能が持てるはずのものであることが示されたのです。

一方、コンピューターの普及と発展に伴ない、これを数値計算にしか使わないのはもったいない、人間の知的な活動をコンピューターに真似させられるのではないかと考える人々が現われ始めました。

1956年、情報理論の始祖クロード･シャノンと計算機科学者のマービン・ミンスキー、ジョン･マッカーシーらの呼びかけで開催されたダートマス会議では、そのような問題意識を持った研究者達が集まり、学習や知能といったものを機械でシミュレートする研究を進めていくことが提案されました。

ちなみにダートマス会議は、世界で初めて｢人工知能｣という言葉が発明された会議として有名となりました。

ただし、ここで提案された研究の方向性は、脳自体の模倣を目指すというよりは記号による情報の表現や論理的推論を行うことを目指したものでした。

脳の模倣によって学習機械を作る、という研究はダートマス会議の2年後、1958年に心理学者フランク・ローゼンブラットにより発表されました。

これは形式ニューロンを階層状に並べてネットワークを組み、学習能力を持たせたもので、パーセプトロンと呼ばれるニューラルネットワークの一種です。

これがニューラルネットワーク研究のスタートでした。

このような研究はコネクショニズムと呼ばれ、第1次ニューロブームをひきおこしました。

ただ、当時のコンピューターの能力は非常に低く、パーセプトロンを高速にシミュレートできるようなものではなかったため実用になったわけではありません。

またその後、マービン・ミンスキーとシーモア・パパートが単層パーセプトロンの学習能力の限界を示したこともあり第1次ニューロブームは下火になってしまったとも言われています。

階層を一つ増やし2層パーセプトロンにすれば、指摘された学習能力の限界を突破できることが、その後すぐに明らかとなるのですが、一度下火になった研究活動がその後復活することはありませんでした。

ところが1980年代あたりから情勢が変わってきます。

先述のダートマス会議にて提案された、記号による情報の表現や論理的推論の実現による知能のシミュレートという方向性の研究は、エキスパートシステム等いくつもの成果を産みはしたものの人間の知能の仕組みの解明には一向に近づくことができませんでした。

そこで再び、脳自体の仕組みを真似して知能の仕組みを解明する方向性の研究に光があたり始めたのです。

その頃、コンピューターの能力が少しずつ向上し、小規模なニューラルネットワークであれば十分にシミュレートできるようになっていたことも研究を後押ししました。

こうしてニューラルネットワークにより知能の解明を試みようとする研究活動が再び支持を集めるようになりました。

第2次ニューロブームとも言うべきこの時期の研究成果として一つだけ押えておくべきものを挙げるとすると、1985年、デビット・ラメルハート、ジェフリー・ピントン、ロナルド・ウィリアムズにより発表された誤差逆伝搬法でしょうか。

これは従来の方法より効率良くニューラルネットワークを学習させられるものでした。

ニューラルネットワークは当初から、階層の数を増やしていけば性能が大幅に向上することが期待されていました､。しかし、誤差逆伝搬法での学習は２層程度までのニューラルネットワークにしか適用できず、より深い階層を持つニューラルネットワークの学習がうまくできないというやっかいな問題(勾配消失と呼ばれます)に悩まされ、これを解決することが当時誰にもできませんでした。

研究者達は、やがてニューラルネットワークを諦め、学習の問題が少なく良い性能が出せるサポートベクトルマシンなど、他の手法の人工知能の研究へと方向性を変えていきました。

ところが世界の潮流に逆らい、深い階層のニューラルネットワークをうまく学習させられないかと執念深く研究を続けた研究者がいました。

第２次ニューロブームの立役者の一人だったジェフリー・ピントンです。

彼は1985年に誤差逆伝搬法を提唱し、深い階層のニューラルネットワークの学習法の研究を20年以上にもわたって行なった末、2006年についにディープラーニングという方法に辿りつきます。

これにより10層にも及ぶ多数の構造を持つニューラルネットワークを見事に学習させることができるようになりました。

ピントン率いるカナダチームは、2012年には写真に何か含まれているか物体のカテゴリを特定する画像認識コンペディジョンにて、これまでの認識率を遥かに上まわる圧倒的性能で初参加初優勝の栄誉に輝きました。

従来の認識率は75％程度、それを年1％改善するのがやっとであったのに対し、ディープラーニングを用いて10％も改善してしまったのですからこの手法の威力が良く分かります。

翌2013年には顔認識コンペディジョンでもディープラーニング勢が優勝しました。

顔認識コンペディジョンとは、人物の顔の画像(顔、うつむき顔、化粧した顔など)を複数用意し、それらが同一人物か判定するという問題ですが、この時、ディープラーニングにより達成された性能は人間を上回るものでした。

当時の人工知能の能力では人間を上回る性能を持たせられる課題はほぼ存在せず、この成果は非常に大きなインパクトを世界に与えました。

ディープラーニングはジェフリー・ピントンのニューラルネットワークへの情熱と執念の産物であるのは間違いありません。

しかし時代が後押しをした面もあります。

通信技術とコンピューターの驚異的な発達により、人々はインターネットと巨大なコンピューティングパワーを手に入れました。

先程出てきた画像認識コンペディジョンの課題では120万枚もの画像が用いられました。

このようなサイズのデータセットはインターネットとウェブが人々の生活に深く浸透し、コミュニケーションのありかたを変えてしまう前には手に入れることは不可能でした。

また彼らの用いた深い階層を持つ巨大なネットワークは65万ものニューロンを持ち、それらの接続状態は6千万に達します。

このように巨大なネットワークの中のニューロン同士の接続を学習させるためには大量の学習データが必要でした。

ピントン達は120万枚の画像をトリミングしたり裏返したりして24億枚以上の画像にし、さらに色味を少しずつ変えながらニューラルネットワークに学習させました。

最終的にどれはどの画像数を学習に用いたのか彼らの論文には正確に書かれていませんが1兆の桁をはるかに超えていても不思議ではありません。

これほどの膨大なデータセットを巨大ネットワークに学習させていくためには途方もないコンピューティングパワーが必要です。

それにはムーアの法則に従って高速化していく現代的なコンピューターの登場を待たなければなりませんでした。

このようにして第3次ニューロブームとも言うべき時代が始まりました。

今回のブームの最大の特徴はなんと言っても具体的な課題をターゲットとした応用研究の豊富さにあると言えるでしょう。

ディーブラーニングを用いた画像処理関連だけでも上述した物体認識、顔認識といった課題に留まらず、白黒の画像に色を付けたり、特定の画家の画風を学習して似た絵画を自動生成したり、果ては男性の画像を元に良く似た女性の画像を生成したり、といった事が既に実現しています。

また囲碁においてプロを凌駕するような高レベルなプレイを行うなどといったことまでも画像処理技術の応用として実現しています。

画像処理以外でも音声認識や機械翻訳のような時間要素を含む情報処理への応用研究にもニューラルネットワークが用いられるようになりました。

時間要素を取り扱うニューラルネットワークには通常ループのような構造が含まれます。

すると深い階層のニューラルネットワークと似た学習の問題が生じやすくなります。

そのため今までは幅広い応用研究が行なわれていた訳ではありませんでした。

しかしディープラーニングの発見を発端としたニューロブームの中で、膨大なデータ、巨大なコンピューティングパワーおよび数々の工夫によって時間要素を含む情報処理においてもニューラルネットワークが優れた性能をあげられることが判明してきました。

また、新しい構造のニューラルネットワークが考案され、それによるさらなる性能向上が行なわれるようにもなってきています。

こうした複雑な構造を持つニューラルネットワークの原型は実のところ第2次ニューロブームの際に既に発明されていたものです。

しかし近年では、このような時間要素を含むデータを処理するニューラルネットワークまでまとめてディープネットと呼ばれるようになってきています。

金融データは時系列データと呼ばれる日付と各種データが連なっているものですから、それを取り扱うニューラルネットワークは時間要素を含むデータを取り扱えるタイプのニューラルネットワークということになります。

さて、ディープラーニングを発端とした人工知能ブームはこれからどこへ向かっていくのでしょうか。

確かなことは分かりませんが、画像認識、音声認識などといったデータを認識する課題については既に人間を超えるレベルの性能が達成されていますから、必然的に多くの仕事で人間ではなく人工知能が代わりを務めることになっていくでしょう。

しかし現状では人工知能は認識機能を上手に模倣することしかできていません。

つまり、あくまで答えのある課題に対して問いが与えられた時に正確な、時には人間よりも正確な判断を下すことができているだけなのです。

例え現状の人工知能が人間よりも囲碁を上手に打てるようになったからと言って、それは｢この局面でここに石を打つとして、黒番側の勝率は上がるのか下がるのか｣という問いに対して人間より上手に判断することができるようになっただけであって、例えば｢この相手は白番より黒番の方が強いみたいだから次は白番で勝てるようにデータを集めて学習しよう｣などと思考することは決してないということです。
このように受動的な判断と能動的な思考の間には深く大きなギャップがあります。

現状の人工知能とは違い、人間には能動的に思考をめぐらせ課題自体を考えだす能力があります。

｢人間より上手に囲碁を打つ人工知能を実現しよう｣と考え、開発を行うのはまさにこの能動的な思考に基づく課題設定力の発露です。

前者の受動的判断能力を知能、後者の能動的思考能力を知性などと呼ぶ人もいます。

そう表現すると現状の人工知能は知能の獲得には成功したが知性の獲得には至っていないと言えるでしょう。

もちろん人間の脳は神経細胞を用いた巨大回路に過ぎませんから、根本的には同じ能力が持てるはずの現在のコンピューターの延長線上のものに能動的思考を行う機能、知性をいずれ持たせられたとしても何も不思議はありません。

しかし今のところ人工知能に知性を宿らせる道筋は誰にも見つけだせていませんし、当分の間は見つからないだろうと広く考えられています。

従って、今後世界は知能があれば行なえる課題は人工知能で、知性を必要とする活動は人間が行うという形で役割分担をすることになっていくのではないでしょうか。