到達目標
学習目的：情報工学の基礎としての情報理論について基本的な考え方を理解する。
到達目標:
1. 情報量の概念・定義を理解し、情報量・エントロピーについて基本的な計算ができる。
2. 情報源・通信路のモデルについて理解し説明できる。
3. 基本的な符号化法について理解し説明できる。
ルーブリック
| 理想的な到達レベルの目安 | 標準的な到達レベルの目安 | 未到達レベルの目安 |
| 評価項目1 | 情報量、エントロピーについての教科書演習問題程度が解ける。 | 情報量、エントロピーの説明ができ、基本的な計算ができる。 | 情報量、エントロピーの説明と基本の計算ができない。 |
| 評価項目2 | 情報源と通信路のモデルについて説明でき、計算ができる。 | 情報源と通信路のモデルについて説明できる。 | 情報源と通信路のモデルについて説明できない。 |
| 評価項目3 | 基礎的な符号化法について説明ができ、計算ができる。 | 基礎的な符号化法について説明ができる。 | 基礎的な符号化法について説明ができない。 |
学科の到達目標項目との関係
教育方法等
概要:
一般・専門の別：専門 学習の分野 専門：情報・制御
基礎となる学問分野：工学/情報学/情報学基礎
学習の分野：情報システム・プログラミング・ネットワーク
学習教育目標との関連：本科目は「③基盤となる専門性の深化」に相当する科目である。
MCC到達目標(平成29年4月38日ガイドライン準拠，カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)が設定されている。
技術者教育プログラムとの関連： 本科目が主体とする学習・教育目標は「（Ａ）技術に関する基礎知識の深化，Ａ－２：｢電気・電子｣，｢情報・制御｣に関する専門技術分野の知識を修得し，説明できること」である。
授業の概要：情報理論は，情報を定量化することから始まり，それを元にし理論を展開する。この講義で取り扱うエントロピーや相互情報量は，情報技術だけではなく，機械学習や神経科学などの広い分野において用いられる重要な概念である。本講義ではこの理論の基礎を理解することを目的とする。
授業の進め方・方法:
授業の方法：テキストを基に講義を進める。群馬高専の教員と合同で実施するため、前半あるいは後半は配信形式の授業となる可能性がある。授業中必要に応じて演習問題を行う。
成績評価方法：2回の定期試験の結果に重みをつけて評価する。試験ではノートの持ち込みは許可しない。原則再試験は行わない。ただし，定期試験のみで正しく評価できないと判断した場合のみ，再試験を行い定期試験の評価を見直すことがありうる。ルーブリックに基づいて定期試験を作成するが，定期試験がルーブリックの評価項目を必ずしも網羅しているとは限らない。
注意点:
履修上の注意： 数学を多用するため，数学が苦手な者はその都度予習復習を行うこと。本科目を選択した者は，学年の課程修了のために履修（欠課時間数が所定授業時間数の３分の１以下）が必須である。また，本科目は「授業時間外の学修を必要とする科目」である。当該授業時間と授業時間外の学修を合わせて，１単位あたり４５時間の学修が必要である。授業時間外の学修については，担当教員の指示に従うこと。
履修のアドバイス：この講義は抽象的な概念を扱うため，しっかり予習復習をしなければ理解が追いつかない。特に専攻科や大学に進学する者は自分で深く勉強することを勧める。事前に行う準備学習としてBlackboardで告知されるテーマについて教科書で確認しておくこと。
基礎科目：応用数学Ⅰ（４年）
受講上のアドバイス：４年で習った確率統計の知識を用いるので，十分復習しておくこと。３０分以上遅刻した場合，欠課とする。
授業の属性・履修上の区分
授業計画
|
|
週 |
授業内容 |
週ごとの到達目標 |
| 後期 |
| 3rdQ |
| 1週 |
情報と確率の関係 |
情報と確率の関係について理解する。
|
| 2週 |
自己情報量（シャノン情報量） |
自己情報量（シャノン情報量）について理解する。
|
| 3週 |
平均情報量（エントロピー）、最大エントロピー |
平均情報量（エントロピー）、最大エントロピーの原理について理解する。
|
| 4週 |
結合エントロピー |
結合エントロピーについて理解する。
|
| 5週 |
条件付きエントロピー、シャノンの基本不等式 |
条件付きエントロピー、シャノンの基本不等式について理解する。
|
| 6週 |
相互情報量 |
相互情報量について理解する。
|
| 7週 |
相互情報量とエントロピー関数 |
相互情報量とエントロピー関数について理解する。
|
| 8週 |
（前期中間試験） |
自分の知識を確認する。
|
| 4thQ |
| 9週 |
中間試験返却と解説、マルコフ情報源、遷移確率行列、状態遷移図 |
自分の知識のあいまいな点を確認する。マルコフ情報源、遷移確率行列、状態遷移図について理解する。
|
| 10週 |
エルゴード性、情報源の発生情報量 |
エルゴード性、情報源の発生情報量について理解する。
|
| 11週 |
通信路行列、通信路網、通信容量 |
通信路行列、通信路網、通信容量について理解する。
|
| 12週 |
符号化と冗長度、一意的復号可能と瞬時復号可能、クラフトの不等式 |
符号化と冗長度、一意的復号可能と瞬時復号可能、クラフトの不等式について理解する。
|
| 13週 |
シャノン・ファノの符号化法、ハフマンの符号化法、LZ符号化法 |
シャノン・ファノの符号化法、ハフマンの符号化法、LZ符号化法について理解する。
|
| 14週 |
誤り検出と訂正、ハミング距離、パリティ検査 |
誤り検出と訂正、ハミング距離、パリティ検査について理解する。
|
| 15週 |
（前期末試験） |
自分の知識を確認する。
|
| 16週 |
期末試験返却と解説 |
自分の知識のあいまいな点を確認する。
|
モデルコアカリキュラムの学習内容と到達目標
| 分類 | 分野 | 学習内容 | 学習内容の到達目標 | 到達レベル | 授業週 |
| 専門的能力 | 分野別の専門工学 | 情報系分野 | 情報数学・情報理論 | 情報量の概念・定義を理解し、実際に計算することができる。 | 4 | |
| 情報源のモデルと情報源符号化について説明できる。 | 4 | |
| 通信路のモデルと通信路符号化について説明できる。 | 4 | |
評価割合
| 試験 | その他 | 合計 |
| 総合評価割合 | 80 | 20 | 100 |
| 基礎的能力 | 40 | 20 | 60 |
| 専門的能力 | 40 | 0 | 40 |
| 分野横断的能力 | 0 | 0 | 0 |