情報理論

科目基礎情報

学校	津山工業高等専門学校	開講年度	令和03年度 (2021年度)
授業科目	情報理論
科目番号	0073	科目区分	専門 / 必修
授業形態	講義	単位の種別と単位数	履修単位: 1
開設学科	情報工学科	対象学年	5
開設期	前期	週時間数	2
教科書/教材	教科書：中村篤祥他「基礎から学ぶ情報理論 第2版」（ムイスリ出版） 参考書：今井秀樹「情報理論」(オーム社) ，村田昇「情報理論の基礎」（サイエンス社）
担当教員	菊地 洋右

到達目標

学習目的：情報工学の基礎としての情報理論について基本的な考え方を理解する。

到達目標
１．情報量の概念・定義を理解し，実際に計算することができる。
２．エントロピーの定義を理解し，実際に計算することができる。
３．情報源のモデルと情報源符号化について説明できる。
４．通信路のモデルと通信路符号化について説明できる。

ルーブリック

	理想的な到達レベルの目安	標準的な到達レベルの目安	最低限な到達レベルの目安(可)	未到達レベルの目安
評価項目1	情報量の定義を理解し，様々な情報量を計算することが出来る。発展的な応用問題を解くことが出来る。	情報量の定義を理解し，様々な情報量を計算することが出来る。	情報量の定義を理解しており，定義式に値を代入し情報量を計算できる。	情報量の定義式を覚えていない。
評価項目2	エントロピーの定義を理解し，発展的な応用問題を解くことが出来る。	エントロピーの定義を理解し，様々なエントロピーを計算することが出来る。	エントロピーの定義を理解していおり，定義式に値を代入しエントロピーを計算できる。	エントロピーの定義式を覚えていない。
評価項目3	情報源の種類を知っており説明もできる。マルコフ情報源，状態遷移図を説明できる。マルコフ情報源の定常分布を計算でき，それを元にエントロピーを計算できる。発展的な応用問題を解くことが出来る。	情報源の種類を知っており説明もできる。マルコフ情報源，状態遷移図を説明できる。マルコフ情報源の定常分布を計算でき，それを元にエントロピーを計算できる。	情報源の種類を知っている。マルコフ情報源，状態遷移図を説明できる。マルコフ情報源の定常分布を計算できる。	情報源の種類を知らない。マルコフ情報源，状態遷移図を説明できない。
評価項目4	２元対称通信路，2元消失通信路の説明ができる。それぞれの通信路容量を計算できる。さらに，様々な通信路に対して通信路容量を計算出来る。発展的な応用問題を解くことが出来る。	２元対称通信路，2元消失通信路の説明ができる。それぞれの通信路容量を計算できる。さらに，様々な通信路に対して通信路容量を計算出来る。	２元対称通信路，2元消失通信路の説明ができる。それぞれの通信路容量を計算できる。	２元対称通信路，2元消失通信路の説明ができない。

教育方法等

概要:

※実務との関係：この科目は他機関で量子計算機構プロジェクトや量子情報システムアーキテクチャの研究に従事していた教員が，その経験を活かし，情報工学の基礎としての情報理論について基本的な考え方を理解することを目的として講義形式で授業を行うものである。

一般・専門の別：専門　学習の分野 専門：情報・制御

基礎となる学問分野：工学/情報学/情報学基礎
学習の分野：情報システム・プログラミング・ネットワーク
学習教育目標との関連：本科目は「③基盤となる専門性の深化」に相当する科目である。

MCC到達目標(平成29年4月38日ガイドライン準拠、カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)が設定されている。

技術者教育プログラムとの関連： 本科目が主体とする学習・教育目標は「（Ａ）技術に関する基礎知識の深化，Ａ－２：｢電気・電子｣，｢情報・制御｣に関する専門技術分野の知識を修得し，説明できること」である。

授業の概要：情報理論は，情報を定量化することから始まり，それを元にし理論を展開する。この講義で取り扱うエントロピーや相互情報量は，情報技術だけではなく，機械学習や神経科学などの広い分野において用いられる重要な概念である。本講義ではこの理論の基礎を理解することを目的とする。

授業の進め方・方法:

授業の方法：テキストを基に講義を進める。授業中必要に応じて演習問題を行う。

成績評価方法：2回の定期試験の結果に重みをつけて評価する。試験ではノートの持ち込みは許可しない。原則再試験は行わない。ただし，定期試験のみで正しく評価できないと判断した場合のみ，再試験を行い定期試験の評価を見直すことがありうる。ルーブリックに基づいて定期試験を作成するが，定期試験がルーブリックの評価項目を必ずしも網羅しているとは限らない。

注意点:

履修上の注意： 数学を多用するため，数学が苦手な者はその都度予習復習を行うこと。本科目を選択した者は，学年の課程修了のために履修（欠課時間数が所定授業時間数の３分の１以下）が必須である。また，本科目は「授業時間外の学修を必要とする科目」である。当該授業時間と授業時間外の学修を合わせて，１単位あたり４５時間の学修が必要である。授業時間外の学修については，担当教員の指示に従うこと。

履修のアドバイス：この講義は抽象的な概念を扱うため，しっかり予習復習をしなければ理解が追いつかない。特に専攻科や大学に進学する者は自分で深く勉強することを勧める。事前に行う準備学習としてBlackboardで告知されるテーマについて教科書で確認しておくこと。

基礎科目：応用数学Ⅰ（４年）

受講上のアドバイス：４年で習った確率統計の知識を用いるので，十分復習しておくこと。３０分以上遅刻した場合，欠課とする。

授業の属性・履修上の区分

実務経験のある教員による授業

履修選択

授業計画

		週	授業内容	週ごとの到達目標
後期
3rdQ
	1週	ガイダンス，講義の概要	講義の位置づけを理解する。
	2週	確率，条件付き確率	確率に関する知識を整理する。
	3週	ベイズの定理，確率変数	確率に関する知識を整理する。
	4週	情報量	情報量の意味を理解する。 情報量の概念・定義を理解し，実際に計算することができる。 MCC到達目標(平成29年4月38日ガイドライン準拠、カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)
	5週	エントロピー	エントロピーの計算ができるようになる。 情報量の概念・定義を理解し，実際に計算することができる。 MCC到達目標(平成29年4月38日ガイドライン準拠、カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)
	6週	相互情報量	相互情報量の計算ができるようになる。 情報量の概念・定義を理解し，実際に計算することができる。 MCC到達目標(平成29年4月38日ガイドライン準拠、カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)
	7週	KLダイバージェンス	KLダイバージェンスの計算ができるようになる。 情報量の概念・定義を理解し，実際に計算することができる。 MCC到達目標(平成29年4月38日ガイドライン準拠、カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)
	8週	（前期中間試験）	自分の知識を確認する。
4thQ
	9週	中間試験返却と解説	自分の知識のあいまいな点を確認する。
	10週	情報源	情報の標本化と量子化について理解する。 情報源のモデルと情報源符号化について説明できる。 MCC到達目標(平成29年4月38日ガイドライン準拠、カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)
	11週	情報源符号化法	情報の圧縮について理解する。 情報源のモデルと情報源符号化について説明できる。 MCC到達目標(平成29年4月38日ガイドライン準拠、カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)
	12週	符号の誤り訂正能力	誤り訂正符号について理解する。 MCC到達目標(平成29年4月38日ガイドライン準拠、カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)
	13週	通信路のモデル化	通信路にはノイズが入ることを理解する。 通信路のモデルと通信路符号化について説明できる。 MCC到達目標(平成29年4月38日ガイドライン準拠、カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)
	14週	通信路容量，通信路符号化	通信路のモデルと通信路符号化について説明できる。 MCC到達目標(平成29年4月38日ガイドライン準拠、カッコ内はレベル)：V-D-7情報数学・情報理論の情報理論(4)
	15週	（前期末試験）	自分の知識を確認する。
	16週	期末試験返却と解説	自分の知識のあいまいな点を確認する。

モデルコアカリキュラムの学習内容と到達目標

分類		分野	学習内容	学習内容の到達目標	到達レベル	授業週
専門的能力	分野別の専門工学	情報系分野	情報数学・情報理論	情報量の概念・定義を理解し、実際に計算することができる。	4
				情報源のモデルと情報源符号化について説明できる。	4
				通信路のモデルと通信路符号化について説明できる。	4

評価割合

	試験	小テスト	合計
総合評価割合	100	0	100
基礎的能力	0	0	0
専門的能力	100	0	100
分野横断的能力	0	0	0