到達目標
学習目的：情報工学の基礎としての情報理論について基本的な考え方を理解する。
到達目標:
1. 情報量の概念・定義を理解し、情報量・エントロピーについて基本的な計算ができる。
2. 情報源・通信路のモデルについて理解し説明できる。
3. 基本的な符号化法について理解し説明できる。
ルーブリック
| 優 | 良 | 可 | 不可 |
| 評価項目1 | 情報量、エントロピーについての教科書演習問題程度が解ける。 | 情報量、エントロピーの説明ができ、基本的な計算ができる。 | 情報量、エントロピーの説明ができる。 | 左記に達していない。 |
| 評価項目2 | 情報源と通信路のモデルについて教科書演習問題程度が解ける。 | 情報源と通信路のモデルについて説明でき、計算ができる。 | 情報源と通信路のモデルについて説明できる。 | 左記に達していない。 |
| 評価項目3 | 基礎的な符号化法について教科書演習問題程度が解ける。 | 基礎的な符号化法について説明ができ、計算ができる。 | 基礎的な符号化法について説明ができる。 | 左記に達していない。 |
学科の到達目標項目との関係
教育方法等
概要:
一般・専門の別：専門 学習の分野 専門：情報・制御
基礎となる学問分野：工学/情報学/情報学基礎
学習の分野：情報システム・プログラミング・ネットワーク
学習教育目標との関連：本科目は「③基盤となる専門性の深化」に相当する科目である。
MCC到達目標(平成29年4月38日ガイドライン準拠，カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)が設定されている。
技術者教育プログラムとの関連： 本科目が主体とする学習・教育目標は「（Ａ）技術に関する基礎知識の深化，Ａ－２：｢電気・電子｣，｢情報・制御｣に関する専門技術分野の知識を修得し，説明できること」である。
授業の概要：情報理論は，情報を定量化することから始まり，それを元にし理論を展開する。この講義で取り扱うエントロピーや相互情報量は，情報技術だけではなく，機械学習や神経科学などの広い分野において用いられる重要な概念である。本講義ではこの理論の基礎を理解することを目的とする。
授業の進め方・方法:
授業の方法：テキストを基に講義を進める。授業中必要に応じて演習問題を行う。
成績評価方法：2回の定期試験の結果に重みをつけて評価する。試験ではノートの持ち込みは許可しない。原則再試験は行わない。ただし，定期試験のみで正しく評価できないと判断した場合のみ，再試験を行い定期試験の評価を見直すことがありうる。ルーブリックに基づいて定期試験を作成するが，定期試験がルーブリックの評価項目を必ずしも網羅しているとは限らない。
注意点:
履修上の注意： 数学を多用するため，数学が苦手な者はその都度予習復習を行うこと。本科目を選択した者は，学年の課程修了のために履修（欠課時間数が所定授業時間数の３分の１以下）が必須である。また，本科目は「授業時間外の学修を必要とする科目」である。当該授業時間と授業時間外の学修を合わせて，１単位あたり４５時間の学修が必要である。授業時間外の学修については，担当教員の指示に従うこと。
履修のアドバイス：この講義は抽象的な概念を扱うため，しっかり予習復習をしなければ理解が追いつかない。特に専攻科や大学に進学する者は自分で深く勉強することを勧める。
基礎科目：応用数学Ⅰ（４年）
受講上のアドバイス：４年で習った確率統計の知識を用いるので，十分復習しておくこと。３０分以上遅刻した場合，欠課とする。
授業の属性・履修上の区分
授業計画
|
|
週 |
授業内容 |
週ごとの到達目標 |
| 後期 |
| 3rdQ |
| 1週 |
授業時間内: 情報と確率の関係
授業時間外: 情報と確率に関する問題について自習 |
情報と確率の関係について理解する。
|
| 2週 |
授業時間内: 自己情報量（シャノン情報量）
授業時間外: 自己情報量に関する問題について自習 |
自己情報量（シャノン情報量）について理解する。
|
| 3週 |
授業時間内: 平均情報量（エントロピー），最大エントロピー
授業時間外: エントロピーに関する問題について自習 |
平均情報量（エントロピー），最大エントロピーの原理について理解する。
|
| 4週 |
授業時間内: 結合エントロピー
授業時間外: 結合エントロピーに関する問題について自習 |
結合エントロピーについて理解する。
|
| 5週 |
授業時間内: 条件付きエントロピー，シャノンの基本不等式
授業時間外: 条件付きエントロピーに関する問題について自習 |
条件付きエントロピー，シャノンの基本不等式について理解する。
|
| 6週 |
授業時間内: 相互情報量
授業時間外: 相互情報量に関する問題について自習 |
相互情報量について理解する。
|
| 7週 |
授業時間内: 相互情報量とエントロピー関数
授業時間外: 相互情報量に関する問題について自習 |
相互情報量とエントロピー関数について理解する。
|
| 8週 |
（前期中間試験） |
自分の知識を確認する。
|
| 4thQ |
| 9週 |
授業時間内: 中間試験返却と解説，マルコフ情報源，遷移確率行列，状態遷移図
授業時間外: マルコフ情報源を使ったモデルに関する問題について自習 |
自分の知識のあいまいな点を確認する。マルコフ情報源，遷移確率行列，状態遷移図について理解する。
|
| 10週 |
授業時間内: エルゴード性，情報源の発生情報量
授業時間外: マルコフ情報源の定常確率を求める問題についての自習 |
エルゴード性，情報源の発生情報量について理解する。
|
| 11週 |
授業時間内: 通信路行列，通信路網，通信容量
授業時間外: 通信路網，通信容量に関する問題について自習 |
通信路行列，通信路網，通信容量について理解する。
|
| 12週 |
授業時間内: 符号化と冗長度，一意的復号可能と瞬時復号可能，クラフトの不等式
授業時間外: 符号に関する問題について自習 |
符号化と冗長度，一意的復号可能と瞬時復号可能，クラフトの不等式について理解する。
|
| 13週 |
授業時間内: シャノン・ファノの符号化法、ハフマンの符号化法、LZ符号化法
授業時間外: 各符号化手法に関する問題について自習 |
シャノン・ファノの符号化法、ハフマンの符号化法、LZ符号化法について理解する。
|
| 14週 |
授業時間内: 誤り検出と訂正、ハミング距離、パリティ検査
授業時間外: 誤り検出と訂正，ハミング符号に関する問題について自習 |
誤り検出と訂正、ハミング距離、パリティ検査について理解する。
|
| 15週 |
（前期末試験） |
自分の知識を確認する。
|
| 16週 |
期末試験返却と解説 |
自分の知識のあいまいな点を確認する。
|
モデルコアカリキュラムの学習内容と到達目標
| 分類 | 分野 | 学習内容 | 学習内容の到達目標 | 到達レベル | 授業週 |
| 専門的能力 | 分野別の専門工学 | 情報系分野 | 情報数学・情報理論 | 情報量の概念・定義を理解し、実際に計算することができる。 | 4 | |
| 情報源のモデルと情報源符号化について説明できる。 | 4 | |
| 通信路のモデルと通信路符号化について説明できる。 | 4 | |
評価割合
| 試験 | 合計 |
| 総合評価割合 | 100 | 100 |
| 基礎的能力 | 50 | 50 |
| 専門的能力 | 50 | 50 |
| 分野横断的能力 | 0 | 0 |