情報理論

科目基礎情報

学校 豊田工業高等専門学校 開講年度 平成30年度 (2018年度)
授業科目 情報理論
科目番号 35101 科目区分 専門 / 選択
授業形態 講義 単位の種別と単位数 学修単位: 2
開設学科 情報工学科 対象学年 5
開設期 前期 週時間数 2
教科書/教材 情報理論、三木成彦・吉川英機著、コロナ社ISBN:978-4-339-01202-6
担当教員 竹下 鉄夫

到達目標

(ア)集合ならびに確率の基本を理解する。
(イ)情報量の概念・定義を理解し、実際に計算することができる。
(ウ)情報源のモデルと情報源符号化について説明できる。

ルーブリック

最低限の到達レベルの目安(優)最低限の到達レベルの目安(良)最低限の到達レベルの目安(可)
評価項目(ア)集合ならびに確率の基本を理解し、具体的な問題について解を導とともに、その過程について説明できる。集合ならびに確率の基本を理解し、具体的な問題について解を導くことができる。集合ならびに確率の基本を理解す、具体的な事例について解を導くことができる。
評価項目(イ)各種情報量、エントロピーの概念と相互関係を理解するとともに、解を導き、その過程について説明できる。各種情報量、エントロピーの概念と相互関係を理解するとともに、解を導くことができる。各種情報量、エントロピーの概念と相互関係について事例について、解を導くことができる。
評価項目(ウ)情報源のモデルと情報源符号化について理解するとともに、各種符号化法に基づいた具体的な符号を構成し説明できる。情報源のモデルと情報源符号化について理解するとともに、各種符号化法に基づいた具体的な符号を構成できる。情報源のモデルと情報源符号化について理解するとともに、基本的な事例について構成できる。

学科の到達目標項目との関係

学習・教育到達度目標 A3, JABEE d, 本校教育目標 ②

教育方法等

概要:
情報理論は情報科学分野のコアの学問である。また、その応用は従来のコンピュータや通信の要素技術に加えて最近では、インターネット、モバイル通信をはじめとしてマルチメディア対応の情報通信技術においては不可欠となっている。本講義では、まず確率論の基礎、情報量およびエントロピーの定義とこれらの意味について理解する。つぎに、情報を効率的に蓄積または伝送するための情報圧縮や符号化の原理を学習する。続いて通信路モデルと通信路容量について理解し、誤りの少ない信頼ある伝送を行うための通信路符号化定理について学習する。さらに、実際の伝送路ではノイズの影響を受けることは不可避であるため、送受信時の誤りを検出したり、訂正を可能にするパリティ検査符号、ハミング符号ならびに巡回符号の原理を学ぶ。
授業の進め方と授業内容・方法:
注意点:
継続的に授業内容の予習・復習を行うこと。また、授業内容について、決められた期日までの課題(レポート)提出を求める。関数電卓を持参すること。

授業計画

授業内容・方法 週ごとの到達目標
前期
1週 シラバスを用いた授業の説明と情報理論概説 情報理論の周辺科学と工学的応用の例について理解する。
2週 確率論の基礎:集合、確率および確率変数と確率密度。基本統計量 集合ならびに確率の基本を理解する。
3週 確率論の基礎:条件付き確率、マルコフ過程およびベイズの定理(課題:確率論) 集合ならびに確率の基本を理解する。
4週 情報量とエントロピー:情報源のモデル、情報量およびエントロピーの定義。エントロピーの性質 情報量の概念・定義を理解し、実際に計算することができる。
5週 情報源符号化:平均符号長および情報源符号化定理(シャノンの第1基本定理)とクラフトの不等式(課題:情報源符号化) 情報源のモデルと情報源符号化について説明できる。
6週 情報源符号:ハフマン符号、ランレングス符号 ハフマン符号、ランレングス符号を理解し構成できる。
7週 各種情報量:結合エントロピーと相互エントロピー 各種情報量、エントロピーの関係を理解し計算ができる。
8週 中間試験
9週 各種情報量:マルコフ情報源と状態遷移図およびこれらの性質。マルコフ情報源のエントロピー(課題:マルコフ過程) マルコフ情報源について遷移確率より定常確率を計算でき、情報源エントロピーの計算ができる。
10週 通信路の符号化:通信路モデルと通信路符号化および通信路容量 通信路のモデルと通信路符号化について説明できる。
11週 通信路の符号化:平均誤り率、通信路符号化定理-シャノンの第2基本定理(課題:通信路符号化) 通信路容量の定義について理解し各種通信路モデルの通信路の通信路容量を計算できる。
12週 符号理論:誤り検出と誤り訂正。パリティ検査符号とハミング符号 誤り検出と誤り訂正の原理を理解し、構成できる。
13週 符号理論:情報の多項式表現と巡回符号化の原理。巡回冗長符号(CRC)による誤り検出と訂正(課題:符号理論) 誤り検出と誤り訂正の原理を理解し、構成できる。
14週 伝送路符号化:アナログ変調方式とディジタル変調方式 各種変調方式について理解し説明ができる。
15週 総まとめ
16週

評価割合

中間試験定期試験課題合計
総合評価割合305020100
専門的能力305020100