情報理論

科目基礎情報

学校	鈴鹿工業高等専門学校	開講年度	令和03年度 (2021年度)
授業科目	情報理論
科目番号	0097	科目区分	専門 / 必修
授業形態	授業	単位の種別と単位数	履修単位: 2
開設学科	電子情報工学科	対象学年	4
開設期	通年	週時間数	2
教科書/教材	電気・電子系教科書シリーズ「情報理論」　三木成彦・吉川英機著（コロナ社）
担当教員	箕浦 弘人,青山 俊弘

到達目標

1. 情報量の概念や情報源や通信路のモデル化など, 確率に基づいた概念を理解し, 計算を行うことができる.
2. 情報源符号化や通信路符号化において考慮すべき性質や理論的な限界について理解する.
3. 基本的なデータ圧縮アルゴリズムおよび誤り検出・訂正の概要を説明できる.

ルーブリック

	理想的な到達レベルの目安	標準的な到達レベルの目安	未到達レベルの目安
評価項目1	情報量の概念, および確率モデルの手法について理解し, 与えられた確率分布にしたがって情報量の計算を行うことができる.	例題や類題等を参考にしながら, 与えられた確率分布にしたがって情報量の計算を行うことができる.	与えられた確率分布にしたがって, 情報量の計算を行うことができない.
評価項目2	情報源符号化, 通信路符号化において, 符号化定理を説明でき, 対象とする問題に対し適切なモデルを選択できる.	情報源符号化, 通信路符号化において, 符号化定理の概要を説明できる.	情報源符号化, 通信路符号化において, 符号化定理の概要を説明することができない.
評価項目3	基本的なデータ圧縮アルゴリズムおよび誤り検出・訂正の概要を説明でき, 符号化・復号処理を手計算により実行できる.	基本的なデータ圧縮アルゴリズムおよび誤り検出・訂正の概要を説明できる.	基本的なデータ圧縮アルゴリズムおよび誤り検出・訂正の概要を説明することができない.

教育方法等

概要:

情報理論とは，情報を誤りなく，効率のよい伝送や記憶をするためにはどのようにすればよいかを系統的に取り扱う理論である．近年のインターネットや携帯電話の爆発的普及などに伴い，私たちのまわりを飛び交う情報の量は増え続けている．情報理論の応用分野は非常に幅広いので，最新の情報通信技術を理解するための基礎知識を習得していただきたい．

授業の進め方・方法:

すべての内容は学習・教育到達目標(B)<基礎>に対応する．
「授業計画」における各週の「到達目標」はこの授業で習得する「知識・能力」に相当するものとする

注意点:

＜到達目標の評価方法と基準＞
　上記の「知識・能力」１～１２の習得の度合いを２回の中間試験，２回の定期試験により評価する．達成度評価における各「知識・能力」の重みは概ね均等である．評価結果が１００点法で６０点以上の場合に目標の達成とする．
＜学業成績の評価方法および評価基準＞
　前期中間、前期末，後期中間，および学年末の4回の試験の平均点を100％で評価する．試験のクラス平均点が70点未満の場合，30点以上の取得した者に再試験を行う．
＜単位修得要件＞
学業成績で６０点以上を取得すること．
＜あらかじめ要求される基礎知識の範囲＞確率統計，対数，行列演算などの数学の基礎知識があればよい．

授業計画

		週	授業内容	週ごとの到達目標
前期
	1stQ
		1週	序論，通信システムのモデル，標本化定理	1. 情報理論の目的，標本化定理を理解している．
		2週	確率論1	２．条件つき確率など確率論の基礎を理解し，基本的な確率計算ができる．
		3週	確率論2	２．条件つき確率など確率論の基礎を理解し，基本的な確率計算ができる．
		4週	情報源とマルコフ過程	２．条件つき確率など確率論の基礎を理解し，基本的な確率計算ができる．
		5週	情報量とエントロピー，冗長度	３．情報量，エントロピーの概念を説明でき，与えられた確率分布からエントロピーを計算できる．
		6週	相互情報量	４．二つの情報源からなる結合，条件付きエントロピー，および相互情報量を計算できる．
		7週	マルコフ情報源のエントロピー	４．二つの情報源からなる結合，条件付きエントロピー，および相互情報量を計算できる．
		8週	演習	ここまでに学習した内容を説明し、必要な式の導出ができる
	2ndQ
		9週	符号化の概要	５．情報源符号が満たすべき条件を理解し，情報源符号化定理の意味を理解している．
		10週	平均符号長と情報源符号化定理	６．シャノン符号，ファノ符号，ハフマン符号，ランレングス符号の符号化アルゴリズムを理解し，符号化と復号の操作および平均符号長の計算ができる．
		11週	シャノン符号，ファノ符号, イライアス符号	６．シャノン符号，ファノ符号，ハフマン符号，ランレングス符号，算術符号の符号化アルゴリズムを理解し，符号化と復号の操作および平均符号長の計算ができる．
		12週	ハフマン符号, ランレングス符号	６．シャノン符号，ファノ符号，ハフマン符号，ランレングス符号，算術符号の符号化アルゴリズムを理解し，符号化と復号の操作および平均符号長の計算ができる．
		13週	算術符号	６．シャノン符号，ファノ符号，ハフマン符号，ランレングス符号，算術符号の符号化アルゴリズムを理解し，符号化と復号の操作および平均符号長の計算ができる．
		14週	LZ符号1	７．ユニバーサル符号であるZL77符号，ZL78符号の概要を理解している．
		15週	LZ符号2	７. ユニバーサル符号であるZL77符号，ZL78符号の概要を理解している．
		16週
後期
	3rdQ
		1週	通信路のモデル	８．通信路のモデルを理解し，主な通信路のモデルについて説明できる．
		2週	通信路行列	９．離散無記憶通信路に対し，通信路行列を求めることができる．
		3週	通信路容量	１０．通信路行列が与えられた離散通信路の通信路容量を計算できる．
		4週	通信路符号化定理	１１．通信路符号化定理の概要を説明できる．
		5週	誤り検出と訂正の理論1	１２．ハミング距離と符号の訂正能力の関係と性質について説明できる．
		6週	誤り検出と訂正の理論2	１２．ハミング距離と符号の訂正能力の関係と性質について説明できる．
		7週	演習	１３．基本的な線形符号の符号化，および復号法を理解し，これらの訂正能力について距離にもとづく説明をすることができる．
		8週	中間試験	ここまでに学習した内容を説明し、必要な式の導出ができる．
	4thQ
		9週	線形符号	１３．基本的な線形符号について誤りの検出や訂正の計算ができる．
		10週	パリティ検査符号	１４．基本的な線形符号であるパリティ検査符号やハミング符号の符号化，および復号法を理解し，これらの検査行列を用いて誤りの検出や訂正の計算ができる．
		11週	巡回符号	１５．巡回符号の符号化および誤り検出や訂正を理解している．
		12週	拡大体	１６．原始多項式から生成される拡大体の性質を説明できる．
		13週	拡大体にもとづく符号	１７．拡大体の性質を利用した巡回符号の復号法を理解している．
		14週	畳込み符号とビタビ復号	１８．畳込み符号の符号化および誤り検出の訂正を理解している．
		15週	演習	１９．畳込み符号などの基本的な符号について誤り検出や訂正の仕組みを理解している．
		16週

モデルコアカリキュラムの学習内容と到達目標

分類		分野	学習内容	学習内容の到達目標	到達レベル	授業週
専門的能力	分野別の専門工学	情報系分野	情報数学・情報理論	情報量の概念・定義を理解し、実際に計算することができる。	4
				情報源のモデルと情報源符号化について説明できる。	4
				通信路のモデルと通信路符号化について説明できる。	4

評価割合

	試験	小テスト、レポート	合計
総合評価割合	100	0	100
配点	100	0	100