知識工学

科目基礎情報

学校	豊田工業高等専門学校	開講年度	令和04年度 (2022年度)
授業科目	知識工学
科目番号	93026	科目区分	専門 / 選択
授業形態	講義	単位の種別と単位数	学修単位: 2
開設学科	電子機械工学専攻M	対象学年	専2
開設期	後期	週時間数	2
教科書/教材	上坂吉則著，「ニューロコンピューティングの数学的基礎」，近代科学社，ISBN：４－７６４９―０２１９―２
担当教員	小松 弘和

到達目標

到達目標（ア）　ニューロンの構造・情報処理・基本的性質、および、ニューロンのアナログモデルを理解できる
到達目標（イ）　現代パーセプトロンにおける誤差逆伝搬学習法を理解できる
到達目標（ウ）　力学系による最小値探索法の数学的原理を理解できる
到達目標（エ）　ボルツマンマシンによる最小値探索法の数学的原理を理解できる
到達目標（オ）　シミュレーテッド・アニーリングによる最小値探索法の数学的原理を理解できる

ルーブリック

	理想的な到達レベルの目安	標準的な到達レベルの目安	未到達レベルの目安
評価項目（ア）	現代パーセプトロンにおける誤差逆伝搬学習法を種々のパーセプトロンに適用し、それらのアルゴリズムをコーディングできる。	現代パーセプトロンにおける誤差逆伝搬学習法を理解できる。	現代パーセプトロンにおける誤差逆伝搬学習法を理解できない。
評価項目（イ）	力学系による最小値探索法の数学的原理を理解し、そのアルゴリズムをコーディングできる。	力学系による最小値探索法の数学的原理を理解できる。	力学系による最小値探索法の数学的原理を理解できない。
評価項目（ウ）	シミュレーテッド・アニーリングによる最小値探索法のアルゴリズムをコーディングできる。	シミュレーテッド・アニーリングによる最小値探索法の数学的原理を理解できる。	シミュレーテッド・アニーリングによる最小値探索の数学的原理を理解できない。

学科の到達目標項目との関係

学習・教育到達度目標 C2-4 「情報と計測・制御」に関する専門知識の修得

JABEE d 当該分野において必要とされる専門的知識とそれらを応用する能力

本校教育目標 ① ものづくり能力

教育方法等

概要:

本講義では、ニューラルネットワークを利用した機械学習に関して数学的原理を講究する。具体的には、学習認識機械、最小値探索機械、および、確率探索機械へニューラルネットワークを利用した古典的な話題を取り上げる。まず、学習認識機械では、多層パーセプトロンの学習に用いられる誤差逆伝搬学習法のアルゴリズムを導出する。次に、最小値探索機械では、組合せ最適化問題の解法へニューラルネットワークから導出されるエネルギー関数と力学系を用いた理論を述べる。最後に、確率探索機械では、シミュレーテッド・アニーリング、および、ボルツマンマシンと呼ばれる確率ニューラルネットワークによる最小値探索法の理論を講述する。

授業の進め方・方法:

対面形式。ニューラルネットワークを用いた、学習認識機械、最小値探索機械、および、確率探索機械に関する数学的原理を丁寧に解説する。演習課題として、各テーマで学習したアルゴリズムのコーディングを行う。なお、受講人数が１０人未満の場合はゼミ形式（輪講形式）を行い、議論を活発にすることでより深い探求を行う。

注意点:

本科および専攻科で学んだ微分積分学や線形代数学、確率を習得していることが望ましい。また、課題演習に際し、使用言語は問わないがプログラミングの基礎知識を要求する。

授業計画

		週	授業内容	週ごとの到達目標
後期
	3rdQ
		1週	ニューロンの数学的モデル ニューロンの構造、基本的性質、ニューロンのアナログモデル （自学自習内容：授業内容の予習・復習を行うこと）	ニューロンの構造・情報処理・基本的性質、および、ニューロンのアナログモデルを理解できる。
		2週	学習認識機械：現代パーセプトロン１ 現代パーセプトロンの数学的定義、誤差逆伝搬学習法（自学自習内容：授業内容の予習・復習を行うこと）	現代パーセプトロンの数学的定義とパターンの数学定義、および、誤差逆伝搬法の手法について理解できる。
		3週	学習認識機械：現代パーセプトロン２ 誤差逆伝搬学習法の演習 （自学自習内容：授業内容に関する課題を提出すること）	種々のパーセプトロンに誤差逆伝搬法の手法を応用することができる。
		4週	最小探索機械：組み合わせ的最適化問題１ 巡回セールスマン問題および８クイーン問題に対する目的関数の構成 （自学自習内容：授業内容の予習・復習を行うこと）	巡回セールスマン問題および８クイーン問題は目的関数の最小値問題として扱うことができることを理解できる。
		5週	最小探索機械：組み合わせ的最適化問題２ 組合せ的関数の定義と多重一次形式 （自学自習内容：授業内容の予習・復習を行うこと）	組合せ的関数の定義を学び、組合せ的関数は常に多重一次形式であることを理解できる。
		6週	最小探索機械：組み合わせ的最適化問題３ 力学系の安定性入門 （自学自習内容：授業内容に関する課題を提出すること）	力学系の平衡点の漸近安定性の定義を理解し、非線形力学系の平衡点の漸近安定性は、その平衡点まわり線形化近似によって得られる係数行列の固有値により決定されることを理解できる。
		7週	組合せ的関数から導出されるエネルギーと力学系、最小値探索と力学系の漸近安定点との関係 （自学自習内容：授業内容に関する課題を提出すること）	組合せ的関数から導出されるエネルギーと力学系について理解し、目的関数の最小値探索と漸近安定点との関係性を理解する。
		8週	最小探索機械：組み合わせ的最適化問題５ ニューラルネットが作る力学系とエネルギー （自学自習内容：授業内容の予習・復習を行うこと）	二次目的関数の最小値問題をニューラルネットで近似的に扱えること理解できる。
	4thQ
		9週	確率探索機械：ボルツマンマシン１ ボルツマンマシンの概念とそのメカニズムの表現 　（自学自習内容：授業内容の予習・復習を行うこと）	ボルツマンマシンの数学的定義、摂動確率と受理確率を用いたボルツマンマシンのメカニズムを表現する推移確率行列が理解できる。
		10週	確率探索機械：ボルツマンマシン２ ニューラルネットのエネルギーと受理確率との関係性　（自学自習内容：授業内容の予習・復習を行うこと）	ニューラルネットのエネルギーと受理確率との関係性が理解できる。
		11週	確率探索機械：ボルツマンマシン３ ボルツマンマシンによる最小値探索の可能 （自学自習内容：授業内容の予習・復習を行うこと	ボルツマン分布の定義、詳細釣り合い条件の導出、および、最適分布への収束性からボルツマンマシンによる最小値探索の可能性が理解できる。
		12週	確率探索機械：マルコフ連鎖 マルコフ連鎖の概念と諸性質 （自学自習内容：授業内容の予習・復習を行うこと）	マルコフ連鎖の数学的概念とそのメカニズムの諸性質が理解できる。
		13週	確率探索機械：シミュレーテッド・アニーリング１ アニーリングの概念とそのメカニズムの表現（自学自習内容：授業内容の予習・復習を行うこと）	アニーリングの概念、ギブス分布の定義、アニーリングのメカニズムを表現するギブス行列を理解できる。
		14週	確率探索機械：シミュレーテッド・アニーリング２ 詳細釣り合い条件と平衡分布 （自学自習内容：授業内容の予習・復習を行うこと）	詳細釣り合い条件と平衡分布を理解できる。
		15週	確率探索機械：シミュレーテッド・アニーリング３ シミュレーテッド・アニーリングによる最小値探索の可能性	アニーリングのアルゴリズムの最適分布への収束性からこのアルゴリズムの最小値探索の可能性が理解できる。
		16週

評価割合

	定期試験	課題	合計
総合評価割合	40	60	100
専門的能力	40	60	100