情報理論

科目基礎情報

学校	阿南工業高等専門学校	開講年度	平成28年度 (2016年度)
授業科目	情報理論
科目番号	0053	科目区分	専門 / 選択
授業形態	授業	単位の種別と単位数	学修単位: 2
開設学科	電気電子工学科（平成25年度以前入学生）	対象学年	5
開設期	後期	週時間数	後期:2
教科書/教材	情報理論入門（コロナ社）/確率・情報・エントロピー（森北出版）
担当教員	中村 雄一

到達目標

１．情報量、情報源の概念を理解し、記憶の有無および定常性の判定ができ、極限分布を計算できる。
２．エントロピー、拡大情報源の概念を理解し、１次エントロピー、高次エントロピー、エントロピーを計算できる。
３．情報源符号化、瞬時値符号などの概念を理解し、ハフマン符号・ハフマンブロック符号を具体的に構成できる。
４．通信路線図・通信路行列などの概念を理解し、２元対称通信路の情報伝送速度および通信路容量を計算できる。
５．ハミング符号の概念を理解し、通信路符号を具体的に構成できる。

ルーブリック

	理想的な到達レベルの目安	標準的な到達レベルの目安	未到達レベルの目安
到達目標1	情報源の記憶の有無を判定でき、記憶を有する情報源の極限分布を計算できる。	情報源の記憶の有無を判定でき、極限分布を計算できる。	情報源の記憶の有無を判定できない。または、極限分布を計算できない。
到達目標2	エントロピー、拡大情報源の概念を理解し、n次エントロピー、エントロピーを計算できる。	１次エントロピー、高次エントロピー、エントロピーを計算できる。	１次エントロピー、高次エントロピー、エントロピーが計算できない。
到達目標3	情報符号化などの概念を理解し、ハフマン符号・ハフマンブロック符号を具体的に構成できる。	ハフマン符号・ハフマンブロック符号を求める手順を行える。	ハフマン符号・ハフマンブロック符号を求められない。
到達目標4	通信路線図・通信路行列の概念を説明できる。２元対称通信路の情報伝送速度・通信路容量を計算できる。	通信路線図・通信路行列の概念を理解し、２元対称通信路の情報伝送速度を計算できる。	通信路線図・通信路行列の概念を理解していない。２元対称通信路の情報伝送速度を計算できない。
到達目標5	ハミング符号の概念を理解し、通信路符号を具体的に構成できる。	通信路符号化であるハミング符号を求める手順を行える。	ハミング符号を求められない。

教育方法等

概要:

情報理論の中核をなす情報量，エントロピー，情報源符号化，通信路符号化の基本を修得することを目標とする．

授業の進め方・方法:

前半は情報量・エントロピーについて講義し，その計算方法を学ぶ．
後半は通信における情報源符号化および通信路符号化について講義し，その具体的な求め方について学ぶ．
毎回の授業において内容の理解を確認するための演習を行う．

注意点:

通信やコンピュータ・システムと関係が深いために専門用語が多く使われる。講義では用語を出来るだけ解説しながら進むが、解説が足りないところについてはその場で積極的に質問するように心がけること。

授業計画

		週	授業内容	週ごとの到達目標
後期
	3rdQ
		1週	情報量	ビットの概念を理解し、情報量が計算できる。
		2週	情報源のモデル化	情報源をモデル化し、記憶の有無、定常性について判定できる。
		3週	情報源の極限分布	分布の遷移について理解し、極限分布を求められる。
		4週	１次エントロピー	１次エントロピーの概念を理解し、エントロピー関数表を読み取れる。
		5週	拡大情報源・エントロピー	拡大情報源について理解し、高次エントロピー、エントロピーが計算できる。
		6週	拡大情報源・エントロピー	拡大情報源について理解し、高次エントロピー、エントロピーが計算できる。
		7週	相互情報量	条件付きエントロピーおよび相互情報量が計算できる。
		8週	中間試験	中間試験までの授業内容の理解を確認
	4thQ
		9週	情報を伝える	情報源符号化、瞬時符号を理解し、符号の木、平均符号長を求められる。
		10週	情報源符号化法	ハフマン符号化およびハフマンブロック符号化が行える。
		11週	通信路のモデル化	通信路を通信路線図および通信路行列で表現できる。
		12週	通信路容量	２元対称通信路の概念を理解し、通信路符号化ができる。
		13週	通信路符号化	ハミング符号の概念を理解し、通信路符号化ができる。
		14週	通信路符号化	ハミング符号の概念を理解し、通信路符号化ができる。
		15週	符号の誤り訂正能力	ハミング距離・重みの概念を理解し、計算できる。
		16週	期末試験	授業内容の理解を確認

評価割合

	定期試験	小テスト	レポート・課題	発表	その他	合計
総合評価割合	90	0	10	0	0	100
基礎的能力	20	0	3	0	0	23
専門的能力	60	0	5	0	0	65
分野横断的能力	10	0	2	0	0	12