情報理論

科目基礎情報

学校	宇部工業高等専門学校	開講年度	令和06年度 (2024年度)
授業科目	情報理論
科目番号	35005	科目区分	専門 / 必修
授業形態	講義	単位の種別と単位数	学修単位: 2
開設学科	制御情報工学科	対象学年	5
開設期	1st-Q	週時間数	4
教科書/教材	新版　マルチメディア時代の情報理論（小川英一, コロナ社）
担当教員	田辺 誠

到達目標

情報理論についての講義を行う。
①情報量の数学的定義を用いてエントロピーや情報源の分類などの理論的性質を導ける。
②情報量に関する理論的性質と、具体的な符号の持つ性質とを関連付けることができる。
③通信路や通信路符号化の数学モデルを用いて理論的性質を導ける。
④情報伝達の高信頼化を実現する符号化法について具体的に述べ、符号化および復号ができる。
具体的な目標は各単元ごとに下記に記述する。

ルーブリック

	理想的な到達レベルの目安	標準的な到達レベルの目安	最低限の到達レベルの目安(可)	未到達レベルの目安
評価項目1	情報量および通信路に関する数学モ デルについて理解し、授 業とは違う条件のもとで モデルの応用を考えるこ とが出来る。	情報伝達の効率化を実 現する符号化法に基づ き、具体例の符号化や復 号の計算が行える。 情報量に関する数学モ デルについて、授業で教 えた数式等の理解が出 来る。	情報量に関する数学モ デルにあてはめて、具体 的な計算を行うことがで きる。	情報量に関する数学モ デルにあてはめて、具体 的な計算を行うことがで きない。
評価項目2	右のレベルに加え、授業 とは違う条件のもとで理 論展開ができる。	情報源の持つエントロ ピーと具体的な符号が持 つ平均符号長との関係 式が記述でき、具体 的な場面における計算を もとに具体例を示すこ とができる。	情報源の持つエントロ ピーと具体的な符号が持 つ平均符号長との関係 式が記述できる。	情報源の持つエントロ ピーと具体的な符号が持 つ平均符号長との関係 式が記述できない。
評価項目3	通信路や通信路符号化に関する数学モデルについて理解し、授業とは違う条件のもとでモデルの応用を考えることが出来る。	通信路や通信路符号化に関する数学モデルについて、授業で教えた数式等の理解が出来る。	通信路や通信路符号化に関する数学モデルにあてはめて、具体的な計算を行うこができる。	通信路や通信路符号化に関する数学モデルにあてはめて、具体的な計算を行うこができない。
評価項目4	誤り訂正能力等の理論的な判断基準に基づき、複数の符号化方法について比較・検討ができる。	情報伝達の高信頼化を実現する符号化法に基づき、具体例の符号化や復号の計算を行うことができ、符号化効率や誤り訂 正能力等の符号としての能力を計算できる。	情報伝達の高信頼化を実現する符号化法に基づき、具体例の符号化や復号の計算を行うことができる。	情報伝達の高信頼化を実現する符号化法に基づき、具体例の符号化や復号の計算を行うことができない。

教育方法等

概要:

シャノンの情報量に関する理論および実学への応用について学ぶ。前半は情報量およびエントロピーについて学び、データを効率的に圧縮する符号化技術を学ぶとともにエントロピーとの理論的な関係を理解する（情報源符号化定理）。後半は通信エラーによる送信側と受信側のデータの違いを相互情報量の観点からモデル化し、通信エラーに強い符号化技術を学ぶとともに相互エントロピーとの理論的な関連を理解する（通信路符号化定理）

授業の進め方・方法:

[事前・事後学習プリントについて]
授業の開始時に、事前・事後学習プリントを配布する。プリントに記載されている課題が解ける力を身につけることが、その授業における最低限の目標である。理解度を確認するための小テストを数回に分けて実施するが、小テストは事前・事後学習プリントの課題に関する理解度を問うものである。

注意点:

情報量の定義において対数および確率の概念が出てくるため、基礎事項を復習の上、授業にあたって欲しい。情報理論の諸概念を理解することと、具体的な計算ができることの双方を目標とする。後者のために実際に手を動かして多くの計算を行いながら、前者の目標達成に努めて欲しい。

授業計画

		週	授業内容	週ごとの到達目標
前期
	1stQ
		1週	情報伝送の基礎知識および情報量	情報理論に関する概観について理解する。 具体的な情報源に対し、情報量を求めることができるようになる。
		2週	平均情報量（エントロピー）と情報源符号化	具体的な情報源に対し、エントロピーを求めることができるようになる。 与えられた符号を分類し，符号化することができる。
		3週	ハフマン符号 とハフマンブロック符号	情報源記号の出現確率分布が与えられたとき、ハフマン符号を求めることができる。 情報源記号の出現確率分布が与えられたとき、ハフマンブロック符号を求めることができる。
		4週	情報源符号化定理 ・到達度確認試験	情報限符号化による効率化に理論的な上界があることを学ぶ（情報源符号化定理）。
		5週	ハミング距離・通信路符号化と謝り検出・訂正能力 パリティ検査符号	通信路上でのデータの破損を検出し、訂正するための符号化について概要を理解する。 パリティ検査符号を用い、実際のデータにおける誤り の検出や訂正ができる。
		6週	ハミング符号の性質	ハミング符号の定義について理解し、実際のデータにおける誤りの検出や訂正ができる。 ある情報と別の情報との関連付けを行うための数学的 基礎である相互エントロピーについて概念を理解する ことができる。
		7週	相互情報量と結合エントロピー 相互情報量と通信路容量	通信路を送信側の情報と受信側の情報の関連付けとし てとらえ、通信容量の概念を理解するとともに、具体 的な通信容量の計算が出来る。
		8週	定期試験

モデルコアカリキュラムの学習内容と到達目標

分類		分野	学習内容	学習内容の到達目標	到達レベル	授業週
専門的能力	分野別の専門工学	情報系分野	情報数学・情報理論	情報量の概念・定義を理解し、実際に計算することができる。	4
				情報源のモデルと情報源符号化について説明できる。	4
				通信路のモデルと通信路符号化について説明できる。	4

評価割合

	期末試験	中間まとめテスト	小テスト	事前・事後学習	合計
総合評価割合	30	30	20	20	100
知識の基本的な理解 【知識・記憶、理解レベル】	10	10	10	5	35
思考・推論・創造への 適用力 【適用、分析レベル】	10	10	0	5	25
汎用的技能 【情報収集・活用・発信力】	5	5	0	10	20
態度・志向性(人間力) 【論理的思考力】	0	0	10	0	10
総合的な学習経験と 創造的思考力	5	5	0	0	10