教師付き学習（supervised learning）

学習理論において目的変数があり、その目的変数に合った出力が出るようニューラルネットワークなどのシステムを更新することです。

古典的な統計手法としては、線形回帰分析、線形判別分析などがこれに対応します。

目的変数を教師（teacher）ともいいます。

古典的な統計手法の多くは線形手法であるため、最適なシステムパラメータの推定は逆行列の計算など１回もしくはごく少数回の計算で実行されますが、非線形のシステムでは、繰り返し計算に基づき遂次的にパラメータを更新する必要があります。

ニューラルネットワークにおける誤差逆伝播法はそのよい例です。

教師なし学習（unsupervised learning）

学習理論において、目的変数は特に設定されていなくて、多変量データの構造を把握するために用いられます。

古典的な統計手法としては、主成分分析、因子分析、クラスター分析などがこれに対応します。

目的変数があるものは教付き学習といいます。

多変量データの特徴的な構造を表現する何らかの評価関数を設定し、その評価関数が大きくなるように遂次的に構造を抽出していくというアルゴリズムが用いられます。