情報理論

科目基礎情報

学校 津山工業高等専門学校 開講年度 2017
授業科目 情報理論
科目番号 0087 科目区分 専門 / 必修
授業形態 講義 単位の種別と単位数 履修単位: 1
開設学科 情報工学科 対象学年 5
開設期 前期 週時間数 2
教科書/教材 教科書:なし 参考書:甘利俊一「情報理論」(筑摩書房) 村田昇「情報理論の基礎」(サイエンス社)
担当教員 藤田 一寿

到達目標

学習目的:情報工学の基礎としての情報理論について基本的な考え方を理解する。

到達目標
1.情報量の概念・定義を理解し,実際に計算することができる。
2.エントロピーの定義を理解し,実際に計算することができる。
3.情報源のモデルと情報源符号化について説明できる。
4.通信路のモデルと通信路符号化について説明できる。

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安最低限な到達レベルの目安(可)未到達レベルの目安
評価項目1情報量の定義を理解し,様々な情報量を計算することが出来る。発展的な応用問題を解くことが出来る。情報量の定義を理解し,様々な情報量を計算することが出来る。情報量の定義を理解しており,定義式に値を代入し情報量を計算できる。情報量の定義式を覚えていない。
評価項目2エントロピーの定義を理解し,発展的な応用問題を解くことが出来る。エントロピーの定義を理解し,様々なエントロピーを計算することが出来る。エントロピーの定義を理解していおり,定義式に値を代入しエントロピーを計算できる。エントロピーの定義式を覚えていない。
評価項目3情報源の種類を知っており説明もできる。マルコフ情報源,状態遷移図を説明できる。マルコフ情報源の定常確率を計算でき,それを元にエントロピーを計算できる。発展的な応用問題を解くことが出来る。情報源の種類を知っており説明もできる。マルコフ情報源,状態遷移図を説明できる。マルコフ情報源の定常確率を計算でき,それを元にエントロピーを計算できる。情報源の種類を知っている。マルコフ情報源,状態遷移図を説明できる。マルコフ情報源の定常確率を計算できる。情報源の種類を知らない。マルコフ情報源,状態遷移図を説明できない。
評価項目42元対称通信路,2元消失通信路の説明ができる。それぞれの通信路容量を計算できる。さらに,様々な通信路に対して通信路容量を計算出来る。発展的な応用問題を解くことが出来る。2元対称通信路,2元消失通信路の説明ができる。それぞれの通信路容量を計算できる。さらに,様々な通信路に対して通信路容量を計算出来る。2元対称通信路,2元消失通信路の説明ができる。それぞれの通信路容量を計算できる。2元対称通信路,2元消失通信路の説明ができない。

学科の到達目標項目との関係

教育方法等

概要:
一般・専門の別:学習の分野 専門:情報・制御

必修・履修・履修選択・選択の別:履修

基礎となる学問分野:工学/情報学/情報学基礎

技術者教育プログラムとの関連: 本科目が主体とする学習・教育目標は「(A)技術に関する基礎知識の深化,A-2:「電気・電子」,「情報・制御」に関する専門技術分野の知識を修得し,説明できること」である。

授業の概要:情報理論は,情報を定量化することから始まり,それを元にし理論を展開する。この講義で取り扱うエントロピーや相互情報量は,情報技術だけではなく,機械学習や神経科学などの広い分野において用いられる重要な概念である。本講義ではこの理論の基礎を理解することを目的とする。

授業の進め方・方法:
授業の方法:デジタル教材を基に講義を進める。授業中必要に応じて演習問題を行う。この授業は前期2時間で実施する。

成績評価方法:2回の定期試験の結果を同等に評価する(70%)。試験ではノートの持ち込みは許可しない。原則再試験は行わない。ただし,定期試験のみで正しく評価できないと判断した場合のみ,再試験を行い定期試験の評価を見直すことがありうる。定期試験毎にレポート課題を課しそれを評価する(30%)
注意点:
履修上の注意: 数学を多用するため,数学が苦手な者はその都度予習復習を行うこと。

履修のアドバイス:この講義は抽象的な概念を扱うため,しっかり予習復習をしなければ理解が追いつかない。特に専攻科や大学に進学する者は自分で深く勉強することを勧める。

基礎科目:応用数学Ⅰ(4年)関連科目:情報数理Ⅱ(5年),情報通信工学(5),情報通信特論(5)など

受講上のアドバイス:4年で習った確率統計の知識を用いるので,十分復習しておくこと。30分以上遅刻した場合,欠課とする。

授業計画

授業内容 週ごとの到達目標
前期
1stQ
1週 ガイダンス,講義の概要
2週 確率,条件付き確率
3週 ベイズ理論,確率変数
4週 情報量
5週 エントロピー
6週 相互情報量
7週 KLダイバージェンス
8週 (前期中間試験)
2ndQ
9週 中間試験返却と解説
10週 情報源
11週 情報源符号化法
12週 符号の誤り訂正能力
13週 通信路のモデル化
14週 通信路容量,通信路符号化
15週 (前期末試験)
16週 期末試験返却と解説

モデルコアカリキュラムの学習内容と到達目標

分類分野学習内容学習内容の到達目標到達レベル授業週

評価割合

試験課題合計
総合評価割合7030100
基礎的能力000
専門的能力7030100
分野横断的能力000