情報・符号理論

科目基礎情報

学校	香川高等専門学校	開講年度	令和05年度 (2023年度)
授業科目	情報・符号理論
科目番号	3144	科目区分	専門 / 選択
授業形態	講義	単位の種別と単位数	学修単位: 2
開設学科	電気情報工学科（2019年度以降入学者）	対象学年	4
開設期	後期	週時間数	2
教科書/教材	教科書：情報理論のエッセンス（改訂2版）、平田廣則、オーム社
担当教員	重田 和弘

到達目標

１．各種エントロピーの定義を説明し計算できる。
２．情報源符号の良し悪しを比較し、説明できる。
３．通信路符号化アルゴリズムに従って、情報を符号化、および、復号・誤り検出・訂正できる。

ルーブリック

	理想的な到達レベルの目安	標準的な到達レベルの目安	未到達レベルの目安
情報理論の概要	具体的な事例を情報源としてモデル化することができ、そのエントロピーを計算できる。条件付エントロピー、結合エントロピー、相互情報量の値を計算でき、それぞれの関係性を説明できる。	与えられた情報源のエントロピーを計算できる。条件付エントロピー、結合エントロピー、相互情報量の値を計算でき、それぞれの関係性を理解できる。	次のいずれかに当てはまる。与えられた情報源のエントロピーを計算できない。条件付エントロピー、結合エントロピー、相互情報量の値を計算できない、もしくは、それぞれの関係性を理解できない。
情報源符号化	ハフマン符号をはじめとして様々な符号化アルゴリズムを理解し、情報の符号化をすることができる。平均符号長の意味を理解し、計算することができる。コンパクト性について、その意味の概要を説明できる。	情報源符号化の基礎概念を理解し、与えられた情報源に対するハフマン符号を示すことができる。平均符号長の意味を理解し、計算することができる。	次のいずれかに当てはまる。情報源符号化の基礎概念を理解できず、与えられた情報源に対するハフマン符号を示すことができない。平均符号長の意味を理解できず、計算することができない。
通信路符号化	通信路符号化の基礎概念を理解し、行列を用いた線形符号の符号化、および、復号・誤り検出・訂正の方法を理解し計算ができる。	通信路符号化の基礎概念を理解し、行列を用いた線形符号の符号化、および、復号・誤り検出・訂正の方法を理解している。	通信路符号化の基礎概念を理解し、行列を用いた線形符号の符号化、および、復号・誤り検出・訂正の方法を理解していない。

教育方法等

概要:

情報通信関連の各分野に応用されている情報理論について、その概要と実際に応用されている領域、その理由などを理解する。デジタルデ－タや信号の伝送・蓄積における高能率処理化と高信頼性化に関する限界と実現方法を理解する。

授業の進め方・方法:

座学を中心とする。各授業の中で学習内容の理解を深めるために演習問題を出題する。この科目は学修単位のため、授業外学習の自習課題として演習問題とレポート課題を出題する。情報理論に関係する確率論、統計学などの基礎数学が学習済であることが望ましい。

注意点:

・本科目の単位は，高等専門学校設置基準第17条第4項により認定される。

授業計画

		週	授業内容	週ごとの到達目標
後期
	3rdQ
		1週	１．ガイダンス ２．情報理論の概要 (１) 情報理論とは	情報理論の概要を理解し、シャノンの通信モデルについて説明できる。
		2週	２．情報理論の概要 (２) 確率論の復習	確率論の基礎を理解している。
		3週	２．情報理論の概要 (３) 情報量	情報量の定義の妥当性を説明でき、その値を計算できる。自己情報量と平均情報量の関係を説明できる。
		4週	２．情報理論の概要 (４) 平均情報量	平均情報量（エントロピー）の性質を理解し計算できる。相互情報量について説明できる。
		5週	３．情報源符号化 (１) 情報源モデル	情報源モデルを理解し、無記憶情報源モデルについて説明できる。
		6週	３．情報源符号化 (２) マルコフ情報源	マルコフ情報源モデルについて説明できる。
		7週	まとめ
		8週	中間試験
	4thQ
		9週	答案返却 ３．情報源符号化 (３) 符号化	様々な情報源符号化アルゴリズムについて、その概要を理解し、情報の符号化と復号をすることができる。
		10週	３．情報源符号化 (４) 具体的符号化	ハフマン符号の概念を理解し、符号木の生成、および、情報の符号化と復号をすることができる。また、ランレングス・ハフマン符号を構成することができる。
		11週	４．通信路符号化 (１)通信路モデル	通信路モデルの概要について説明できる。基礎的な通信路モデルと通信路行列の対応を理解できる。
		12週	４．通信路符号化 (２) 相互情報量	相互情報量と通信路容量を計算することができる。
		13週	４．通信路符号化 (３) 通信路符号化定理	通信路符号化定理を理解し、概要を説明することができる。
		14週	４．通信路符号化 (４) 誤り検出と訂正	ハミング距離を計算することができる。最小距離復号法の概念を理解できる。最小ハミング距離と誤り検出・訂正能力との関係を理解し、説明することができる。偶数パリティ検査符号の符号化と誤り検出を行うことができる。
		15週	４．通信路符号化 (５) 線形符号	行列を用いて、線形符号による符号化をすることができる。受信語のシンドロームを計算し、誤り検出・訂正を行うことができる。
		16週	期末試験

モデルコアカリキュラムの学習内容と到達目標

分類		分野	学習内容	学習内容の到達目標	到達レベル	授業週
専門的能力	分野別の専門工学	情報系分野	情報数学・情報理論	情報量の概念・定義を理解し、実際に計算することができる。	3
				情報源のモデルと情報源符号化について説明できる。	3
				通信路のモデルと通信路符号化について説明できる。	3

評価割合

	試験	レポート	合計
総合評価割合	80	20	100
情報理論の概要	30	10	40
情報源符号化	30	5	35
通信路符号化	20	5	25