▼▼▼▼▼▼▼▼
チャンネル登録はこちら

バイパーパラメータ

機械学習にも、アルゴリズムの性能を向上させるために人の手でモデルを調整しなくてはならないパラメータがあります。

このパラメータを、ハイパーパラメータと呼びます。

ハイパーパラメータを理解するにあたり、ここでは多項式を例に解説します。

パラメータが直線の傾きや切片など、モデルの中に設定される具体的な値であるのに対し、ハイパーパラメータはモデルを何次式にするのか(直線、二次曲線、三次曲線など)といったモデルの大枠を決める値を意味します。

未学習と過学習

ハイパーパラメータが適切でないと、モデルは性能を十分に発揮できません。

そのような、性能が十分でない状態によく見られる特徴として「未学習」と「過学習」があります。

未学習とはその名の通り、十分に学習が行われていないことで性能が低い状態を指します。

学習データに対する予測や分類の精度が十分に高くない場合、未学習であると言えます。

　対して過学習とは、学習データに対する精度の向上を重視し過ぎることで、未知のデータに対する精度が下がってしまっている状態を指します。

未学習と過学習についてより具体的に見ていきましょう。

例として、アルゴリズムで２次元グラフの形(真のモデル)を推測することを考えます。

実際に私たちが取得することができるデータはそこにノイズ(ばらつき)が乗っています。

機械学習では、アルゴリズムがデータを学習することで、真のモデルをよく表現できるようなモデルを求めます。

使うモデルを多項式(1次→直線、２次→２次関数)とすると、この多項式モデルにおけるハイパーパラメータは、次数であると言えます。

次数が1のときには直線となります。

しかし真のモデルが曲線であるため、直線では単純過ぎてうまく表現できません。

この状態が未学習です。

なお、このようにモデルの表現力が足りないことによって、学習データとモデルとの間に生じた誤差のことを、近似誤差と呼びます。

さて、次数が1のモデルでは単純過ぎてうまく表現できなかったので、今度は次数を思い切って増やしてみましょう。

学習させるのは、次数が9のモデルです。

すると学習させたデータにぴったりフィットしたモデルを得ることができます。

しかし、データのなかった部分は真のモデルから大きく外れており、これでは真のモデルをよく表現できているとは言えません。

このようなモデルでは、学習データに対する精度は高くなりますが、未知のデータに対する精度は悪くなってしまいます。

このように、モデルが過学習してしまったことで、未知のデータ(テストデータ)とモデルとの間に生じた誤差のことを推定誤差(Validation Loss)と呼びます。

多項式モデルにおける次数について考えましたが、実際には利用するモデルそれぞれで決定しなければならないハイパーパラメータが多数存在します。

また、２次元グラフのように可視化して調整することのできない問題も多いため、ハイパーパラメータを人がチューニングすることはかなり難しいのです。

そこでハイパーパラメータを決定するために、機械学習にはさまざまなオート（自動）チューニングの手法が存在します。

一番単純な手法は、すべてのハイパーパラメータ候補の組み合わせを試行し、もっとも性能のよいものを選択するという方法です。

この方法はグリッドサーチといい、ハイパーパラメータ候補の中でもっともよいハイパーパラメータを必ず選択できます。

ただし、候補の数が多くなると指数的に計算量が増大するため、学習データが多がったりモデルが複雑であったりと、一回の学習で必要となる計算量が大きい場合には利用が困難です。

こういった場合にはすべてではなくいくつかの組み合わせを試行し、その中でもっともよいハイパーパラメータを採用する手法が採用されます。

このようにさまざまな手法が存在しますが、ここではその中でもよく利用されるものは以下です。

ランダムサーチ

ハイパーパラメータの組み合わせをランダムに試行する手法。

何パターン試行するかを指定するだけで実行することができるため、かんたんに実装することが可能。

焼きなまし(疑似アニーリング、SA)法

金属加工における焼きなまし（ある材料を加熱し、その後時間をかけて冷やしていく熱処理のこと）」に似ていることから名付けられた手法。

最初はさまざまなパターンを広く試し、徐々に探す範囲を狭くしながらよい組み合わせを探索する。

ベイズ最適化

ガウス過程という回帰モデルを利用して、よいバイパーパラメータを探索する手法。

試しにいくつかのパラメータ候補で精度を計算し、その結果をもとに、さらに「精度が高くなりそう」かつ「まだ探索しきれていなさそう」なパラメータ候補を推定することで、効率的に探索を行う。

遺伝的アルゴリズム

生物の進化のしくみを模倣した手法。

ハイパーパラメータの組み合わせを遺伝子とみなし、淘汰・交叉・突然変異などの処理をくり返し行う（世代交代）ことでよい組み合わせを探索する。

機械学習において、モデルの性能を向上させるためには、さまざまな要素を調整し最適化する必要があります。その中でも特に重要なのが「ハイパーパラメータ」と呼ばれるものです。ハイパーパラメータとは、モデルの学習過程や構造に影響を与える要因であり、これらの値を適切に設定することでモデルの性能を最大限に引き出すことが可能となります。これらはモデルの大枠を決定する役割を担い、適切でない設定の場合、未学習や過学習という問題が生じることがあります。未学習とは、モデルが十分な情報を学習できず、結果として精度が低下している状態を指します。一方、過学習とは、モデルが学習データに対して過度に適応し、未知のデータに対する一般化性能が低下してしまう状態を指します。これらの問題は、モデルの実用性に大きな影響を及ぼすため、ハイパーパラメータの設定は慎重に行う必要があります。

たとえば、多項式回帰モデルを考えると、次数は典型的なハイパーパラメータの一つです。次数が低い場合、モデルは十分にデータの特徴を表現することができず、未学習の状態に陥ります。この場合、モデルがデータの変化を捉える能力が不足しており、予測精度が低くなります。一方で、次数が高すぎる場合、モデルは学習データに過剰に適合しすぎてしまい、過学習の問題が発生します。このような状態では、モデルは学習データのノイズまでも覚え込んでしまい、未知のデータに対する予測精度が大幅に低下します。したがって、多項式モデルにおける次数の選択は、未学習と過学習のバランスを取るための重要な要素となります。

ハイパーパラメータの調整は、手作業で行うには非常に難しく、多くの試行錯誤を必要とします。そのため、これを効率的に行うための手法がいくつか提案されています。その中でもよく知られているのが、グリッドサーチやランダムサーチ、焼きなまし法、ベイズ最適化、遺伝的アルゴリズムなどの自動調整手法です。まず、グリッドサーチについて説明します。グリッドサーチは、事前に設定したハイパーパラメータの候補値を網羅的に試す方法です。この手法では、あらゆる組み合わせを一つ一つ検証し、最適な組み合わせを見つけ出します。グリッドサーチの利点は、全ての候補を試すため、最適解が見つかりやすい点です。しかしながら、計算量が非常に大きくなるため、計算リソースが限られている場合には実用的でないことがあります。

次にランダムサーチについて見てみましょう。ランダムサーチは、グリッドサーチとは異なり、ハイパーパラメータの候補値をランダムに選んで試行する手法です。この方法は、計算リソースを節約しながら、ある程度の精度を確保できる点で優れています。特に、探索する範囲が広い場合や、重要なハイパーパラメータが少ない場合には、効率的に最適解に近い設定を見つけることができます。ランダムサーチはグリッドサーチに比べて実装が容易で柔軟性が高いため、さまざまな状況で利用されています。

さらに、焼きなまし法という手法もあります。この方法は、初期段階では探索範囲を広く取り、多様な候補を試しますが、徐々に探索範囲を絞り込んでいくアプローチです。焼きなまし法の特徴は、探索の初期段階である程度の確率で非最適な解を受け入れることで、局所最適解に陥るリスクを軽減する点にあります。この確率は時間の経過とともに減少し、最終的には最適解に収束するように設計されています。

また、ベイズ最適化も非常に注目されています。この手法は、ガウス過程を利用して目的関数をモデル化し、探索を効率的に進める方法です。ベイズ最適化では、過去の探索結果をもとに次に探索すべき領域を予測し、その領域に基づいてハイパーパラメータを調整します。これにより、試行回数を大幅に削減しながら、精度の高いモデルを得ることが可能となります。ベイズ最適化は特に計算コストの高い問題において有効です。

最後に、遺伝的アルゴリズムについて説明します。この手法は、生物の進化の仕組みを模倣したものであり、世代交代を繰り返しながら最適なハイパーパラメータの組み合わせを見つけ出します。遺伝的アルゴリズムでは、最初にランダムに生成されたハイパーパラメータの組み合わせを「個体」として扱い、適応度に基づいて優れた個体を選択します。その後、選ばれた個体同士を交配させたり、突然変異を加えることで新たな個体を生成し、次世代に渡します。このプロセスを繰り返すことで、最適解に近づいていく仕組みです。遺伝的アルゴリズムは、多数のハイパーパラメータを持つ複雑な問題に対して特に有効です。

これらの自動調整手法を活用することで、ハイパーパラメータ調整の効率を大幅に向上させることができます。しかし、いずれの手法も万能ではなく、それぞれの特徴を理解した上で、具体的な問題に応じた選択を行うことが重要です。ハイパーパラメータ調整は、機械学習モデルの性能を最大化するための重要なステップであり、その成功はモデルの実用性に直結します。そのため、これらの手法を適切に組み合わせ、効率的かつ効果的に調整を行うことが求められます。