情報理論基礎

科目基礎情報

学校 群馬工業高等専門学校 開講年度 平成31年度 (2019年度)
授業科目 情報理論基礎
科目番号 4J017 科目区分 専門 / 必修
授業形態 授業 単位の種別と単位数 履修単位: 1
開設学科 電子情報工学科 対象学年 4
開設期 後期 週時間数 2
教科書/教材 情報理論入門(サイエンス社)
担当教員 石田 等

到達目標

□情報量・エントロピーについて基本的な計算ができる。
□情報源符号化の基本を理解することができる。
□通信路符号化の基本を理解することができる。
□現代情報通信技術に情報量がどのように使われているかを理解することができる。

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
評価項目1情報量、エントロピーについての教科書演習問題程度が解ける。情報量、エントロピーの説明ができ、基本的な計算ができる。情報量、エントロピーの説明と基本の計算ができない。
評価項目2情報源符号化定理およびハフマン符号について説明し、計算ができる。情報源のモデルと情報源符号化について説明できる。情報源のモデルと情報源符号化の説明ができない。
評価項目3通信路符号化定理および誤り訂正符号について説明し、計算できる。通信路のモデルと通信路符号化の説明ができる。通信路のモデルと通信路符号化の説明ができない。

学科の到達目標項目との関係

教育方法等

概要:
この講義では「情報とは何か」をキーワードに、確率統計の復習から始め、情報理論の基礎を学ぶ。具体的には情報と確率との関係、情報量とエントロピー、さらに符号理論の初歩まで学ぶ。
○確率論の基礎
応用数学Iで習った確率統計を復習する。
○情報量とエントロピー
確率をもとに情報量、エントロピーを定義し、例を示す。さらに結合エントロピー、条件付エントロピー、相互情報
量について学ぶ。
○情報源符号化
情報源の定義とモデル、符号化による冗長度の除去、ハフマン符号、LZ符号、情報源符号化定理を学ぶ。
○通信路符号化と誤り訂正符号
通信路符号化定理、誤り訂正符号を学ぶ。
授業の進め方・方法:
パワーポイント、黒板を用いた板書とプリントを使用して説明をします。
注意点:
この授業の内容は情報通信、符号理論、信号処理、人工知能などの発展的な分野の基礎となります。応用数学Iの教科書を手元に用意しておいてください。

授業計画

授業内容 週ごとの到達目標
後期
3rdQ
1週 確率論の基礎 確率論の基本を理解できる。
2週 情報量とエントロピー
情報と確率の関係を理解できる。
3週 情報量とエントロピー 情報量の概念・定義を理解し、実際に計算することができる。
4週 情報量とエントロピー 各種エントロピーの概念・定義を理解し、実際に計算することができる。
5週 情報源 情報源の概念・定義を理解し、実際に計算することができる。
6週 情報源符号化 情報源符号化定理が説明できる。
7週 情報源符号化 ハフマン符号化について理解でき、実際に計算することができる。
8週 中間試験
4thQ
9週 通信路符号化 通信路のモデルと通信路容量について理解でき、実際に計算することができる。
10週 通信路符号化 通信路符号化定理について説明できる。
11週 誤り訂正符号 誤り訂正・検出の原理について理解できる。
12週 誤り訂正符号 単一パリティ検査符号と線形符号について理解できる。
13週 誤り訂正符号 ハミング符号について理解できる。
14週 巡回符号 シンドローム多項式、パリティ検査行列について理解できる。
15週 巡回符号 巡回符号について理解できる。
16週 定期試験

評価割合

試験発表相互評価態度ポートフォリオその他合計
総合評価割合80000020100
基礎的能力4000002060
専門的能力400000040
分野横断的能力0000000