情報理論

Course Information

College	Anan College	Year	2015
Course Title	情報理論
Course Code	0053	Course Category	Specialized / Elective
Class Format	Lecture	Credits	Academic Credit: 2
Department	電気電子工学科（平成25年度以前入学生）	Student Grade	5th
Term	Second Semester	Classes per Week	2
Textbook and/or Teaching Materials	情報理論入門（コロナ社）/確率・情報・エントロピー（森北出版）
Instructor	Nakamura Yuichi

Course Objectives

１．情報量、情報源の概念を理解し、記憶の有無および定常性の判定ができ、極限分布を計算できる。
２．エントロピー、拡大情報源の概念を理解し、１次エントロピー、高次エントロピー、エントロピーを計算できる。
３．情報源符号化、瞬時値符号などの概念を理解し、ハフマン符号・ハフマンブロック符号を具体的に構成できる。
４．通信路線図・通信路行列などの概念を理解し、２元対称通信路の情報伝送速度および通信路容量を計算できる。
５．ハミング符号の概念を理解し、通信路符号を具体的に構成できる。

Rubric

	理想的な到達レベルの目安	標準的な到達レベルの目安	未到達レベルの目安
評価項目1	情報源の記憶の有無を判定でき、記憶を有する情報源の極限分布を計算できる。	情報源の記憶の有無を判定でき、極限分布を計算できる。	情報源の記憶の有無を判定できない。または、極限分布を計算できない。
評価項目2	エントロピー、拡大情報源の概念を理解し、n次エントロピー、エントロピーを計算できる。	１次エントロピー、高次エントロピー、エントロピーを計算できる。	１次エントロピー、高次エントロピー、エントロピーが計算できない。
評価項目3	情報符号化などの概念を理解し、ハフマン符号・ハフマンブロック符号を具体的に構成できる。	ハフマン符号・ハフマンブロック符号を求める手順を行える。	ハフマン符号・ハフマンブロック符号を求められない。
評価項目4	通信路線図・通信路行列の概念を説明できる。２元対称通信路の情報伝送速度・通信路容量を計算できる。	通信路線図・通信路行列の概念を理解し、２元対称通信路の情報伝送速度を計算できる。	通信路線図・通信路行列の概念を理解していない。２元対称通信路の情報伝送速度を計算できない。
評価項目5	ハミング符号の概念を理解し、通信路符号を具体的に構成できる。	通信路符号化であるハミング符号を求める手順を行える。	ハミング符号を求められない。

Teaching Method

Outline:

情報理論の中核をなす情報量、エントロピー、情報源符号化の基本を修得することを目標とする。

Style:

Notice:

通信やコンピュータ・システムと関係が深いために専門用語が多く使われる。講義では用語を出来るだけ解説しながら進むが、解説が足りないところについてはその場で積極的に質問するように心がけること。

Course Plan

			Theme	Goals
2nd Semester
	3rd Quarter
		1st	情報量	ビットの概念を理解し、情報量が計算できる。
		2nd	情報源のモデル化	情報源をモデル化し、記憶の有無、定常性について判定できる。
		3rd	情報源の極限分布	分布の遷移について理解し、極限分布を求められる。
		4th	１次エントロピー	１次エントロピーの概念を理解し、エントロピー関数表を読み取れる。
		5th	拡大情報源・エントロピー	拡大情報源について理解し、高次エントロピー、エントロピーが計算できる。
		6th	拡大情報源・エントロピー	拡大情報源について理解し、高次エントロピー、エントロピーが計算できる。
		7th	相互情報量	条件付きエントロピーおよび相互情報量が計算できる。
		8th	中間試験
	4th Quarter
		9th	情報を伝える	情報源符号化、瞬時符号を理解し、符号の木、平均符号長を求められる。
		10th	情報源符号化法	ハフマン符号化およびハフマンブロック符号化が行える。
		11th	通信路のモデル化	通信路を通信路線図および通信路行列で表現できる。
		12th	通信路容量	２元対称通信路の概念を理解し、通信路符号化ができる。
		13th	通信路符号化	ハミング符号の概念を理解し、通信路符号化ができる。
		14th	通信路符号化	ハミング符号の概念を理解し、通信路符号化ができる。
		15th	符号の誤り訂正能力	ハミング距離・重みの概念を理解し、計算できる。
		16th	期末試験

Evaluation Method and Weight (%)

	試験	発表	相互評価	態度	ポートフォリオ	その他	Total
Subtotal	90	0	0	0	10	0	100
基礎的能力	20	0	0	0	3	0	23
専門的能力	60	0	0	0	5	0	65
分野横断的能力	10	0	0	0	2	0	12