1. 各種情報量の意味を理解し，与えられた確率分布にしたがって情報量の計算ができる。
2. 情報源符号化における平均符号語長の下限について理解する。
3. 与えられた確率分布にしたがって，ハフマン符号が構成できる。
概要:
確率・統計で学習した確率分布や期待値の概念，情報数学で学習した集合の概念などを踏まえて，情報通信やデータ圧縮の基礎となる各種情報量，および，最適な符号化手法について理解する。また，後期に学習する符号理論へつなげるため，通信路や通信路符号化についてもその概要を理解する。
授業の進め方・方法:
毎回の授業の学習テーマを設定し，その内容について解説する。板書が多いため，一部スライドも併用するほか，15週のうち一部において反転授業形式の能動学習を取り入れる。授業の内容を理解しているかどうか確認するため，毎回簡単な演習問題を課し，提出させる。提出された課題は採点し，原則として次回の授業で返却して解説を行う。定期試験では，原則として毎回の課題に類似した内容の問題を出題し，最終的な定着度を確認する。
注意点:
確率・統計や情報数学で学んだ内容を復習しておくこと。また，毎回授業の最後に演習問題を行う。指示された場合には，反転授業のための予習を必ず行うこと。
|
|
週 |
授業内容 |
週ごとの到達目標 |
| 前期 |
| 1stQ |
| 1週 |
ガイダンスと確率論の復習 |
確率や期待値およびそれらの性質に関する理解度を確認する。
|
| 2週 |
エントロピー |
エントロピーの意味を理解し，計算ができる。
|
| 3週 |
エントロピーのチェイン則 |
同時エントロピー，条件付エントロピーの意味を理解し，計算ができる。
|
| 4週 |
ダイバージェンス |
ダイバージェンスの意味を理解し，計算ができる。
|
| 5週 |
ダイバージェンスの応用 |
同時・条件付ダイバージェンスの意味を理解し，計算ができる。
|
| 6週 |
符号の定義と正則性 |
正則な符号，分節可能符号について判別できる。平均符号語長を計算できる。
|
| 7週 |
分節可能符号と語頭符号 |
分節可能符号と語頭符号を判別できる。
|
| 8週 |
符号の表現とクラフトの不等式 |
与えられた符号を符号木および数直線で表現できる。
|
| 2ndQ |
| 9週 |
最適な符号 |
情報源符号化における平均符号語長の下限および，最適な符号化戦略について理解する。
|
| 10週 |
符号化アルゴリズム |
シャノン・ファノ符号，シャノン・ファノ・イライアス符号およびハフマン符号を構成できる。
|
| 11週 |
相互情報量 |
相互情報量の意味を理解し，計算ができる。
|
| 12週 |
相互情報量の応用 |
情報量のチェイン則，および情報通信との関係について理解する。
|
| 13週 |
情報処理不等式とファノの不等式 |
情報処理不等式とファノの不等式の意味を理解する。
|
| 14週 |
情報理論の応用 |
誤り訂正符号や情報通信工学，情報セキュリティと情報理論の関係について理解する。
|
| 15週 |
期末試験 |
|
| 16週 |
試験返却，および試験の解説 |
科目全体を振り返り，各単元について十分に理解し，簡単な例について計算が行えることを確認する。
|
| 分類 | 分野 | 学習内容 | 学習内容の到達目標 | 到達レベル | 授業週 |
| 基礎的能力 | 数学 | 数学 | 数学 | 対数の意味を理解し、対数を利用した計算ができる。 | 3 | 前2,前3,前4,前5,前9,前11,前12 |
| 2点間の距離を求めることができる。 | 1 | 前4 |
| 総和記号を用いた簡単な数列の和を求めることができる。 | 3 | 前1,前2,前3,前4,前5,前6,前9,前11,前12,前13 |
| 関数の増減表を書いて、極値を求め、グラフの概形をかくことができる。 | 1 | 前2 |
| 独立試行の確率、余事象の確率、確率の加法定理、排反事象の確率を理解し、簡単な場合について、確率を求めることができる。 | 3 | 前1 |
| 条件付き確率、確率の乗法定理、独立事象の確率を理解し、簡単な場合について確率を求めることができる。 | 3 | 前1,前3,前5,前12 |
| 専門的能力 | 分野別の専門工学 | 情報系分野 | 計算機工学 | 整数・小数を2進数、10進数、16進数で表現できる。 | 3 | 前6,前7,前8 |
| 整数・小数をコンピュータのメモリ上でディジタル表現する方法を説明できる。 | 3 | 前8 |
| 基数が異なる数の間で相互に変換できる。 | 3 | 前2 |
| 情報数学・情報理論 | 集合に関する基本的な概念を理解し、集合演算を実行できる。 | 3 | 前3,前5,前7,前12 |
| 情報量の概念・定義を理解し、実際に計算することができる。 | 3 | 前2,前3,前4,前5,前9,前10,前11,前12 |
| 情報源のモデルと情報源符号化について説明できる。 | 3 | 前9 |