1. 各種情報量の意味を理解し,与えられた確率分布にしたがって情報量の計算ができる。
2. 情報源符号化における平均符号語長の下限について理解する。
3. 与えられた確率分布にしたがって,ハフマン符号が構成できる。
概要:
確率・統計で学習した確率分布や期待値の概念,情報数学で学習した集合の概念などを踏まえて,情報通信やデータ圧縮の基礎となる各種情報量,および,最適な符号化手法について理解する。また,後期に学習する符号理論へつなげるため,通信路や通信路符号化についてもその概要を理解する。
授業の進め方・方法:
毎回の授業の学習テーマを設定し,その内容について解説する。板書が多いため,一部スライドも併用する。授業の内容を理解しているかどうか確認するため,毎回簡単な演習問題を課し,提出させる。提出された課題は採点し,原則として次回の授業で返却して解説を行う。この科目は学修単位科目のため,毎回の演習問題に加え,事前・事後学習として、予習・復習を行うこと。試験では,原則として毎回の課題に類似した内容の問題を出題し,最終的な定着度を確認する。
注意点:
確率・統計や情報数学で学んだ内容を復習しておくこと。また,毎回授業の最後に演習問題を行う。
|
|
週 |
授業内容 |
週ごとの到達目標 |
前期 |
1stQ |
1週 |
ガイダンスと確率論の復習 |
確率や期待値,それらの性質に関する理解度を確認する。
|
2週 |
エントロピー |
エントロピーの意味を理解し,計算ができる。
|
3週 |
エントロピーのチェイン則 |
同時エントロピー,条件付エントロピーの意味を理解し,計算ができる。
|
4週 |
ダイバージェンス |
ダイバージェンスの意味を理解し,計算ができる。
|
5週 |
ダイバージェンスの応用 |
同時・条件付ダイバージェンスの意味を理解し,計算ができる。
|
6週 |
符号の定義と正則性 |
正則な符号,分節可能符号について判別できる。平均符号語長を計算できる。
|
7週 |
分節可能符号と語頭符号 |
分節可能符号と語頭符号を判別できる。
|
8週 |
符号の表現とクラフトの不等式 |
与えられた符号を符号木および数直線で表現できる。
|
2ndQ |
9週 |
最適な符号 |
情報源符号化における平均符号語長の下限および,最適な符号化戦略について理解する。
|
10週 |
符号化アルゴリズム |
シャノン・ファノ符号,シャノン・ファノ・イライアス符号およびハフマン符号を構成できる。
|
11週 |
相互情報量 |
相互情報量の意味を理解し,計算ができる。
|
12週 |
相互情報量の応用 |
相互情報量と情報通信モデルとの関係について理解する。
|
13週 |
情報処理不等式とファノの不等式 |
情報処理不等式とファノの不等式の意味を理解する。
|
14週 |
情報理論の応用 |
誤り訂正符号や情報通信工学,情報セキュリティと情報理論の関係について理解する。
|
15週 |
まとめ |
科目全体を振り返り,各単元について十分に理解し,簡単な例について計算が行えることを確認する。
|
16週 |
|
|
分類 | 分野 | 学習内容 | 学習内容の到達目標 | 到達レベル | 授業週 |
専門的能力 | 分野別の専門工学 | 情報系分野 | 情報数学・情報理論 | 集合に関する基本的な概念を理解し、集合演算を実行できる。 | 3 | 前1,前2,前3,前4,前5,前6,前7,前8,前9,前10,前11,前12,前13,前15,前16 |
集合の間の関係(関数)に関する基本的な概念を説明できる。 | 3 | 前6,前7,前15,前16 |
情報量の概念・定義を理解し、実際に計算することができる。 | 4 | 前2,前3,前4,前5,前9,前10,前11,前12,前13,前15,前16 |
情報源のモデルと情報源符号化について説明できる。 | 4 | 前6,前7,前8,前9,前10,前14,前15,前16 |
通信路のモデルと通信路符号化について説明できる。 | 4 | 前12,前13,前14,前15,前16 |