情報理論

科目基礎情報

学校 一関工業高等専門学校 開講年度 令和04年度 (2022年度)
授業科目 情報理論
科目番号 0032 科目区分 専門 / 選択
授業形態 講義 単位の種別と単位数 学修単位: 2
開設学科 未来創造工学科(情報・ソフトウェア系) 対象学年 5
開設期 後期 週時間数 2
教科書/教材 小嶋徹也「はじめての情報理論」近代科学社
担当教員 千田 栄幸

到達目標

1. 各種情報量の意味を理解し,与えられた確率分布にしたがって情報量の計算ができる。
2. 情報源符号化における平均符号語長の下限について理解する。
3. 与えられた確率分布にしたがって,ハフマン符号が構成できる。

【教育目標】D



【教育目標 】
【学習・教育到達目標 】ー

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
評価項目1各種情報量の定義および意味を理解し,与えられた確率分布にしたがって情報量を計算できる。教科書などの文献を参照しながら,与えられた確率分布にしたがって情報量を計算することができる。与えられた確率分布にしたがって,情報量を計算することができない。
評価項目2情報源符号化における平均符号語長の下限について理解し,符号化の最適戦略について説明できる。情報源符号化における平均符号語長の下限が何か理解する。情報源符号化における下限が何か説明できない。
評価項目3与えられた確率分布にしたがって,ハフマン符号を構成できる。教科書などの文献を参照しながら,ハフマン符号を構成できる。与えられた確率分布にしたがって,ハフマン符号を構成できない。

学科の到達目標項目との関係

教育方法等

概要:
確率統計で学習した確率分布や期待値の概念,情報数学で学習した集合の概念などを踏まえて,情報通信やデータ圧縮の基礎となる各種情報量,および,最適な符号化手法について理解する。また,符号理論へつながる,通信路や通信路符号化についてもその概要を理解する。
授業の進め方・方法:
毎回の授業の学習テーマを設定し,その内容について解説する。
授業の内容を理解しているかどうか確認するため,毎回簡単な演習問題を課し,提出させる。

注意点:
この科目は学修単位科目のため,毎回の演習問題に加え,事前・事後学習として、予習・復習を行うこと。
試験では,原則として毎回の課題に類似した内容の問題を出題し,最終的な定着度を確認する。

授業の属性・履修上の区分

アクティブラーニング
ICT 利用
遠隔授業対応
実務経験のある教員による授業
必履修

授業計画

授業内容 週ごとの到達目標
後期
3rdQ
1週 ガイダンスと確率論の復習 確率や期待値,それらの性質に関する理解度を確認する。
2週 エントロピー エントロピーの意味を理解し,計算ができる。
3週 エントロピーのチェイン則 同時エントロピー,条件付エントロピーの意味を理解し,計算ができる。
4週 ダイバージェンス ダイバージェンスの意味を理解し,計算ができる。
5週 ダイバージェンスの応用 同時・条件付ダイバージェンスの意味を理解し,計算ができる。
6週 符号の定義と正則性 正則な符号,分節可能符号について判別できる。平均符号語長を計算できる。
7週 分節可能符号と語頭符号 分節可能符号と語頭符号を判別できる。
8週 符号の表現とクラフトの不等式 与えられた符号を符号木および数直線で表現できる。
4thQ
9週 最適な符号 情報源符号化における平均符号語長の下限および,最適な符号化戦略について理解する。
10週 符号化アルゴリズム シャノン・ファノ符号,シャノン・ファノ・イライアス符号およびハフマン符号を構成できる。
11週 相互情報量 相互情報量の意味を理解し,計算ができる。
12週 相互情報量の応用 相互情報量と情報通信モデルとの関係について理解する。
13週 情報処理不等式とファノの不等式 情報処理不等式とファノの不等式の意味を理解する。
14週 情報理論の応用 誤り訂正符号や情報通信工学,情報セキュリティと情報理論の関係について理解する。
15週 期末試験
16週 まとめ 科目全体を振り返り,各単元について十分に理解し,簡単な例について計算が行えることを確認する。

モデルコアカリキュラムの学習内容と到達目標

分類分野学習内容学習内容の到達目標到達レベル授業週
専門的能力分野別の専門工学情報系分野システムプログラム形式言語の概念について説明できる。2
オートマトンの概念について説明できる。2
形式言語が制限の多さにしたがって分類されることを説明できる。3
正規表現と有限オートマトンの関係を説明できる。3
情報数学・情報理論情報量の概念・定義を理解し、実際に計算することができる。4
情報源のモデルと情報源符号化について説明できる。4
通信路のモデルと通信路符号化について説明できる。4

評価割合

試験演習課題相互評価態度ポートフォリオその他合計
総合評価割合90100000100
基礎的能力4010000050
専門的能力400000040
分野横断的能力100000010