到達目標
１．情報理論の各種概念を数学を用いて説明できる．
２．情報量や情報量の性質を数学を用いて説明できる．
３．情報源の符号化を数学を用いて説明できる．
４．通信路のモデルや通信路容量を説明できる．
ルーブリック
| 理想的な到達レベルの目安 | 標準的な到達レベルの目安 | 未到達レベルの目安 |
| 評価項目1 | 情報理論の各種概念を数学を用いて説明できる． | 情報理論の各種概念の数学を用いた説明が理解できる． | 情報理論の各種概念の数学を用いた説明が理解できない． |
| 評価項目2 | 情報量や情報量の性質を数学を用いて説明できる． | 情報量やその性質を数学を用いた説明で理解できる． | 情報量やその性質を数学を用いた説明で理解できない． |
| 評価項目3 | 通信路のモデル全体を説明できる． | 通信路のモデルの各要素を説明できる． | 通信路のモデルが理解できない． |
| 評価項目4 | 情報源符号化について説明できる | 情報源符号化について理解できる | 情報源符号化について理解できない |
学科の到達目標項目との関係
教育方法等
概要:
情報理論の基礎を学ぶことを目的とする．単に情報理論で使われる言葉の表面的な理解をするのではなく，大学院等で本格的に情報理論を研究するために必要な基礎学力の習得を目指す．確率の定義をコルモゴロフの公理的定義からスタートし，情報理論の基礎を積み上げる．ただし，この授業では，情報源符号化定理にフォーカスし，エントロピーの本当の意味を理解することを中心にすえる．教科書の前半をカバーする．
実務経験のある教員による授業科目：加藤は企業（IBM）でコンピューター・アーキテクチャーを担当していた．その経験を活かし，インフォメーション・コーディング，特に情報符号化に関する授業を行う．
授業の進め方・方法:
授業は教科書に沿って行う．確率や統計の知識（確率過程など）を必要とする場合は，適宜板書やプリント等で補いながら行う．この授業では，教科書の前半をカバーし，通信路符号化定理に関しては，結論の式を述べるにとどめる．また，教科書の定理の証明を通して，証明における記号の扱い方など，より汎用的な能力を高めるためるようにする．授業終了時には，受講者全員が，情報理論におけるエントロピーとは何かを，自信をもって述べられるようにすることがこの授業の目的である．
注意点:
参考図書："MODERN DIGITAL AND ANALOG COMMUNICATION SYSTEMS(Fourth Edition)", B.P. Lathi and Zhi Ding, OXFORD UNIVERSITY PRESS.
"Elements of Information Theory", Thomas M. Cover, Joy A. Thomas, John Wiley & Sons
評価方法詳細：
定期試験 50%，課題等その他 50% を目安として評価する． 60点以上を合格とする．再試は行わない．
次回の授業範囲を予習し、教科書の該当範囲を事前に読んでおくこと。
授業の属性・履修上の区分
授業計画
|
|
週 |
授業内容 |
週ごとの到達目標 |
| 後期 |
| 3rdQ |
| 1週 |
オリエンテーション |
数学を使わず情報理論を理解できる．
|
| 2週 |
情報理論の概要 |
情報理論の全体像を理解できる．
|
| 3週 |
情報の表現 |
集合と順序対を再確認する．
|
| 4週 |
確率の基礎 |
確率のコルモゴロフの公理的定義を理解できる．
|
| 5週 |
情報量 |
各種情報量の定義とその意味を理解できる．
|
| 6週 |
情報量の性質（１） |
イェンゼンの不等式と対数和不等式を理解できる．
|
| 7週 |
情報量の性質（２） |
ダイバージェンスの非負性やエントロピーの上界式を証明できる．
|
| 8週 |
確率分布について |
二項分布とポアソン分布を理解している．
|
| 4thQ |
| 9週 |
テストを行う． |
教科書を見なくても，ダイバージェンスの非負性やエントロピーの上界式を証明できる．
|
| 10週 |
大数の法則を証明する（１） |
大数の法則を理解できる．
|
| 11週 |
情報源の符号化（１） |
情報源符号，平均符号語頭符号を理解できる．
|
| 12週 |
情報源の符号化（２） |
クラフトの不等式を理解できる．
|
| 13週 |
情報源の符号化（３） |
情報源符号化逆定理，情報源符号化定理を理解できる．
|
| 14週 |
ハフマン符号 |
ハフマン符号を理解できる．
|
| 15週 |
予備 |
予備
|
| 16週 |
|
|
モデルコアカリキュラムの学習内容と到達目標
| 分類 | 分野 | 学習内容 | 学習内容の到達目標 | 到達レベル | 授業週 |
| 基礎的能力 | 工学基礎 | 情報リテラシー | 情報リテラシー | 情報伝達システムやインターネットの基本的な仕組みを把握している。 | 3 | 後1,後2 |
評価割合
| 試験 | 発表 | 相互評価 | 態度 | ポートフォリオ | その他 | 合計 |
| 総合評価割合 | 50 | 0 | 0 | 0 | 0 | 50 | 100 |
| 基礎的能力 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 専門的能力 | 50 | 0 | 0 | 0 | 0 | 50 | 100 |
| 分野横断的能力 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |