情報理論基礎

科目基礎情報

学校 群馬工業高等専門学校 開講年度 2017
授業科目 情報理論基礎
科目番号 0035 科目区分 専門 / 必修
授業形態 授業 単位の種別と単位数 履修単位: 1
開設学科 電子情報工学科 対象学年 4
開設期 前期 週時間数 2
教科書/教材 情報理論入門(サイエンス社)
担当教員 鶴見 智

到達目標

□情報量・エントロピーについて基本的な計算ができる。
□情報源符号化の基本を理解することができる。
□通信路符号化の基本を理解することができる。
□現代情報通信技術に情報量がどのように使われているかを理解することができる。

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
評価項目1情報量、エントロピーについての教科書演習問題程度が解ける。情報量、エントロピーの説明ができ、基本的な計算ができる。情報量、エントロピーの説明と基本の計算ができない。
評価項目2情報源符号化定理およびハフマン符号について説明し、計算ができる。情報源のモデルと情報源符号化について説明できる。情報源のモデルと情報源符号化の説明ができない。
評価項目3通信路符号化定理および誤り訂正符号について説明し、計算できる。通信路のモデルと通信路符号化の説明ができる。通信路のモデルと通信路符号化の説明ができない。

学科の到達目標項目との関係

準学士課程 B-2 説明 閉じる
準学士課程 C 説明 閉じる

教育方法等

概要:
この講義では「情報とは何か」をキーワードに、確率統計の復習から始め、情報理論の基礎を学ぶ。具体的には情報と確率との関係、情報量とエントロピー、さらに符号理論の初歩まで学ぶ。
○確率論の基礎
応用数学Iで習った確率統計を復習する。
○情報量とエントロピー
確率をもとに情報量、エントロピーを定義し、例を示す。さらに結合エントロピー、条件付エントロピー、相互情報
量について学ぶ。
○情報源符号化
情報源の定義とモデル、符号化による冗長度の除去、ハフマン符号、LZ符号、情報源符号化定理を学ぶ。
○通信路符号化と誤り訂正符号
通信路符号化定理、誤り訂正符号を学ぶ。
授業の進め方・方法:
パワーポイント、黒板を用いた板書とプリントを使用して説明をします。
注意点:
この授業の内容は情報通信、符号理論、信号処理、人工知能などの発展的な分野の基礎となります。応用数学Iの教科書を手元に用意しておいてください。

授業計画

授業内容 週ごとの到達目標
前期
1stQ
1週 情報量とエントロピー 情報量の定義が理解できる。
2週 情報量とエントロピー エントロピー、結合エントロピーが理解できる。
3週 情報量とエントロピー 条件付エントロピー、相互情報量が理解できる。
4週 情報源 情報源とは何か、マルコフ情報源が理解できる。
5週 情報源 情報源のエントロピーが計算できる。
6週 情報源符号化 クラフトの不等式、情報源符号化定理が理解できる。
7週 情報源符号化 ハフマン符号が理解できる。
8週 中間試験
2ndQ
9週 通信路符号化 通信路のモデルが理解できる。
10週 通信路符号化 通信路容量が計算できる。
11週 通信路符号化 通信路符号化定理が理解できる。
12週 誤り訂正符号 単一パリティ検査符号が理解できる。
13週 誤り訂正符号 線形符号、ハミング符号が理解できる。
14週 巡回符号 シンドローム多項式、パリティ検査行列が理解できる。
15週 巡回符号 巡回符号が理解できる。
16週

評価割合

試験発表相互評価態度ポートフォリオその他合計
総合評価割合80000020100
基礎的能力4000002060
専門的能力400000040
分野横断的能力0000000