情報理論

科目基礎情報

学校	岐阜工業高等専門学校	開講年度	令和02年度 (2020年度)
授業科目	情報理論
科目番号	0126	科目区分	専門 / 必修
授業形態	講義	単位の種別と単位数	学修単位: 1
開設学科	電気情報工学科	対象学年	4
開設期	後期	週時間数	後期:2
教科書/教材	教科書：　わかりやすいディジタル情報理論（塩野充，オーム社） ，参考書：　情報理論のエッセンス（平田廣則，昭晃堂），情報理論（三木成彦他，コロナ社）
担当教員	山田 博文

到達目標

① 情報の概念と定量化について理解する。
② 情報源のモデルとエントロピーについて理解する。
③ 通信路のモデルと通信路容量について理解する。
④ 情報源符号化について理解する。
⑤ 通信路符号化について理解する。

ルーブリック

	理想的な到達レベルの目安	標準的な到達レベルの目安	未到達レベルの目安
評価項目1	情報の概念と定量化について説明でき，各種情報量を求めることが正確に（8割以上）できる。	情報の概念と定量化について説明でき，各種情報量を求めることがほぼ正確に（6割以上）できる。	情報の概念と定量化について説明できず，各種情報量を求めることができない。
評価項目2	遷移確率行列や状態遷移図を使って情報源のモデルを表すことができ，情報源のエントロピーを求めることが正確に（8割以上）できる。	遷移確率行列や状態遷移図を使って情報源のモデルを表すことができ，情報源のエントロピーを求めることがほぼ正確に（6割以上）できる。	遷移確率行列や状態遷移図を使って情報源のモデルを表すことができず，情報源のエントロピーを求めることができない。
評価項目3	通信路行列や通信路線図を使って通信路のモデルを表すことができ，通信路容量を求めることが8割以上）できる。	通信路行列や通信路線図を使って通信路のモデルを表すことができ，通信路容量を求めることがほぼ正確に（6割以上）できる。	通信路行列や通信路線図を使って通信路のモデルを表すことができず，通信路容量を求めることできない。
評価項目4	情報源符号化について説明でき，様々な情報源符号化法で正確に（8割以上）符号化できる。	情報源符号化について説明でき，様々な情報源符号化法でほぼ確に（6割以上）符号化できる。	情報源符号化について説明できず，情報源符号化法で符号化できない。
評価項目5	通信路符号化について説明でき，様々な通信路符号化法で正確に（8割以上）符号化できる。	通信路符号化について説明でき，様々な通信路符号化法でほぼ確に（6割以上）符号化できる。	通信路符号化について説明できず，通信路符号化法で符号化できない

教育方法等

概要:

　情報理論は，効率よくかつ正確に情報を伝達するための基礎となる学問であり，CDやインターネットなどに応用されている．本講義では，シャノンの通信路モデルにおける情報の概念と定量化，情報源のエントロピーと通信路容量，および符号化法について学ぶ。

授業の進め方・方法:

授業内において演習を実施する。積極的に取り組むこと。
英語導入計画：Technical terms

注意点:

　確率論についての知識が必要なので復習しておくこと。なお，成績評価に教室外学修の内容は含まれる。
学習・教育目標：（D-4（３））１００％

授業計画

		週	授業内容	週ごとの到達目標
後期
	3rdQ
		1週	集合，試行と事象，確率（ALのレベルC）	試行、事象、確率について説明できる。 （教室外学修）条件付き確率やベイズの定理に関する演習問題を解く。
		2週	条件付き確率，ベイズの定理，確率変数（ALのレベルB）	ベイズの定理について説明できる。 （教室外学修）条件付き確率やベイズの定理に関する演習問題を解く。
		3週	自己情報量とエントロピー（ALのレベルC）	自己情報量とエントロピーについて説明できると共に、自己情報量やエントロピーを求めることができる。 （教室外学修）自己情報量やエントロピーに関する演習問題を解く。
		4週	結合エントロピーと条件付きエントロピー（ALのレベルC）	結合エントロピーと条件付きエントロピーについて説明できると共に、各エントロピーを求めることができる。 （教室外学修）結合エントロピーや条件付きエントロピーや相互情報量に関する演習問題を解く。
		5週	相互情報量（ALのレベルC）	相互情報量について説明できると共に、相互情報量を求めることができる。 （教室外学修）結合エントロピーや条件付きエントロピーや相互情報量に関する演習問題を解く。
		6週	情報源のモデルと情報源のエントロピー（ALのレベルC）	遷移確率行列や状態遷移図を用いて情報源のモデルを表すことができると共に、情報源のエントロピーを求めることができる。 （教室外学修）情報源のエントロピーに関する演習問題を解く。
		7週	通信路のモデルと通信路容量１（ALのレベルC）	通信路行列や通信路線図を用いて通信路のモデルを表すことができる。 （教室外学修）通信路のモデルや通信路容量に関する演習問題を解く。
		8週	中間試験	（教室外学修）中間試験で不正解であった問題など，理解不十分な内容に関する問題を解く。
	4thQ
		9週	通信路のモデルと通信路容量２（ALのレベルC）	通信路容量を求めることができる。 （教室外学修）通信路のモデルや通信路容量に関する演習問題を解く。
		10週	符号化の基礎（ALのレベルC）	よい符号の条件について説明できる。 （教室外学修）クラフトの不等式や符号の効率に関する演習問題を解く。
		11週	シャノンの第１基本定理（ALのレベルC）	シャノンの第一基本定理について説明できる。（教室外学修）クラフトの不等式や符号の効率に関する演習問題を解く。
		12週	シャノン・ファノ符号，ハフマン符号（ALのレベルC）	各情報源符号化法で符号化できる。 （教室外学修）シャノン・ファノ符号やハフマン符号に関する演習問題を解く。
		13週	誤り検出と訂正（ALのレベルC）	誤りの検出や訂正について説明できる。 （教室外学修）誤り検出・訂正やハミング距離に関する演習問題を解く。
		14週	長方形符号，ハミング符号，巡回符号（ALのレベルC）	各通信路符号化法で符号化できる。 （教室外学修）長方形符号やハミング符号や巡回符号に関する演習問題を解く。
		15週	期末試験の解答の解説と総まとめ	（教室外学修）期末試験で不正解であった問題など，理解不十分な内容に関する問題を解く。
		16週

モデルコアカリキュラムの学習内容と到達目標

分類		分野	学習内容	学習内容の到達目標	到達レベル	授業週
専門的能力	分野別の専門工学	情報系分野	情報数学・情報理論	情報量の概念・定義を理解し、実際に計算することができる。	4
				情報源のモデルと情報源符号化について説明できる。	4
				通信路のモデルと通信路符号化について説明できる。	4

評価割合

	中間試験	期末試験	課題・小テスト	合計
総合評価割合	100	100	50	250
得点	100	100	50	250