情報理論

科目基礎情報

学校 津山工業高等専門学校 開講年度 令和05年度 (2023年度)
授業科目 情報理論
科目番号 0073 科目区分 専門 / 必修
授業形態 講義 単位の種別と単位数 履修単位: 1
開設学科 情報工学科 対象学年 5
開設期 前期 週時間数 2
教科書/教材 教科書:甘利俊一「情報理論」(筑摩書房) 参考書:今井秀樹「情報理論」(オーム社) ,村田昇「情報理論の基礎」(サイエンス社)
担当教員 畑 良知

到達目標

学習目的:情報工学の基礎としての情報理論について基本的な考え方を理解する。

到達目標
1.情報量の概念・定義を理解し,実際に計算することができる。
2.エントロピーの定義を理解し,実際に計算することができる。
3.情報源のモデルと情報源符号化について説明できる。
4.通信路のモデルと通信路符号化について説明できる。

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安最低限な到達レベルの目安(可)未到達レベルの目安
評価項目1情報量の定義を理解し,様々な情報量を計算することが出来る。発展的な応用問題を解くことが出来る。情報量の定義を理解し,様々な情報量を計算することが出来る。情報量の定義を理解しており,定義式に値を代入し情報量を計算できる。情報量の定義式を覚えていない。
評価項目2エントロピーの定義を理解し,発展的な応用問題を解くことが出来る。エントロピーの定義を理解し,様々なエントロピーを計算することが出来る。エントロピーの定義を理解していおり,定義式に値を代入しエントロピーを計算できる。エントロピーの定義式を覚えていない。
評価項目3情報源の種類を知っており説明もできる。マルコフ情報源,状態遷移図を説明できる。マルコフ情報源の定常確率を計算でき,それを元にエントロピーを計算できる。発展的な応用問題を解くことが出来る。情報源の種類を知っており説明もできる。マルコフ情報源,状態遷移図を説明できる。マルコフ情報源の定常確率を計算でき,それを元にエントロピーを計算できる。情報源の種類を知っている。マルコフ情報源,状態遷移図を説明できる。マルコフ情報源の定常確率を計算できる。情報源の種類を知らない。マルコフ情報源,状態遷移図を説明できない。
評価項目42元対称通信路,2元消失通信路の説明ができる。それぞれの通信路容量を計算できる。さらに,様々な通信路に対して通信路容量を計算出来る。発展的な応用問題を解くことが出来る。2元対称通信路,2元消失通信路の説明ができる。それぞれの通信路容量を計算できる。さらに,様々な通信路に対して通信路容量を計算出来る。2元対称通信路,2元消失通信路の説明ができる。それぞれの通信路容量を計算できる。2元対称通信路,2元消失通信路の説明ができない。

学科の到達目標項目との関係

教育方法等

概要:
※実務との関係:この科目は他機関で量子計算機構プロジェクトや量子情報システムアーキテクチャの研究に従事していた教員が,その経験を活かし,情報工学の基礎としての情報理論について基本的な考え方を理解することを目的として講義形式で授業を行うものである。

一般・専門の別:専門 学習の分野 専門:情報・制御

基礎となる学問分野:工学/情報学/情報学基礎

技術者教育プログラムとの関連: 本科目が主体とする学習・教育目標は「(A)技術に関する基礎知識の深化,A-2:「電気・電子」,「情報・制御」に関する専門技術分野の知識を修得し,説明できること」である。

授業の概要:情報理論は,情報を定量化することから始まり,それを元にし理論を展開する。この講義で取り扱うエントロピーや相互情報量は,情報技術だけではなく,機械学習や神経科学などの広い分野において用いられる重要な概念である。本講義ではこの理論の基礎を理解することを目的とする。
授業の進め方・方法:
授業の方法:デジタル教材を基に講義を進める。授業中必要に応じて演習問題を行う。この授業は前期2時間で実施する。

成績評価方法:2回の定期試験の結果の平均(70%)と小テスト(30%)で評価する。試験ではノートの持ち込みは許可しない。原則再試験は行わない。ただし,定期試験のみで正しく評価できないと判断した場合のみ,再試験を行い定期試験の評価を見直すことがありうる。ルーブリックに基づいて定期試験を作成するが,定期試験がルーブリックの評価項目を必ずしも網羅しているとは限らない。
注意点:
履修上の注意: 数学を多用するため,数学が苦手な者はその都度予習復習を行うこと。

履修のアドバイス:この講義は抽象的な概念を扱うため,しっかり予習復習をしなければ理解が追いつかない。特に専攻科や大学に進学する者は自分で深く勉強することを勧める。

基礎科目:応用数学Ⅰ(4年)関連科目:情報数理Ⅱ(5年),情報通信工学(5),情報通信特論(5)など

受講上のアドバイス:4年で習った確率統計の知識を用いるので,十分復習しておくこと。30分以上遅刻した場合,欠課とする。

授業の属性・履修上の区分

アクティブラーニング
ICT 利用
遠隔授業対応
実務経験のある教員による授業
履修

授業計画

授業内容 週ごとの到達目標
前期
1stQ
1週 ガイダンス,講義の概要 講義の位置づけを理解する。
2週 確率,条件付き確率 確率に関する知識を整理する。
3週 ベイズ理論,確率変数 確率に関する知識を整理する。
4週 情報量 情報量の意味を理解する。
情報量の概念・定義を理解し,実際に計算することができる。
5週 エントロピー エントロピーの計算ができるようになる。
情報量の概念・定義を理解し,実際に計算することができる。
6週 相互情報量 相互情報量の計算ができるようになる。
情報量の概念・定義を理解し,実際に計算することができる。
7週 KLダイバージェンス KLダイバージェンスの計算ができるようになる。
情報量の概念・定義を理解し,実際に計算することができる。
8週 (前期中間試験) 自分の知識を確認する。
2ndQ
9週 中間試験返却と解説 自分の知識のあいまいな点を確認する。
10週 情報源 情報の標本化と量子化について理解する。
情報源のモデルと情報源符号化について説明できる。
11週 情報源符号化法 情報の圧縮について理解する。
情報源のモデルと情報源符号化について説明できる。
12週 符号の誤り訂正能力 誤り訂正符号について理解する。
13週 通信路のモデル化 通信路にはノイズが入ることを理解する。
通信路のモデルと通信路符号化について説明できる。
14週 通信路容量,通信路符号化 通信路のモデルと通信路符号化について説明できる。
15週 (前期末試験) 自分の知識を確認する。
16週 期末試験返却と解説 自分の知識のあいまいな点を確認する。

モデルコアカリキュラムの学習内容と到達目標

分類分野学習内容学習内容の到達目標到達レベル授業週
専門的能力分野別の専門工学情報系分野情報数学・情報理論情報量の概念・定義を理解し、実際に計算することができる。5
情報源のモデルと情報源符号化について説明できる。5
通信路のモデルと通信路符号化について説明できる。4

評価割合

試験小テスト合計
総合評価割合7030100
基礎的能力000
専門的能力7030100
分野横断的能力000