情報・符号理論

科目基礎情報

学校 香川高等専門学校 開講年度 令和03年度 (2021年度)
授業科目 情報・符号理論
科目番号 211244 科目区分 専門 / 選択
授業形態 講義 単位の種別と単位数 学修単位: 2
開設学科 電気情報工学科(2019年度以降入学者) 対象学年 5
開設期 後期 週時間数 2
教科書/教材 教科書:情報理論、三木成彦、コロナ社
担当教員 重田 和弘,浮穴 学慈

到達目標

1.各種エントロピーの定義を説明し計算できる。
2.情報源符号の良し悪しを比較し、説明できる。
3.通信路符号化アルゴリズムに従って、情報を符号化、および、復号・誤り検出・訂正できる。

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
情報理論の概要具体的な事例を情報源としてモデル化することができ、そのエントロピーを計算できる。条件付エントロピー、結合エントロピー、相互情報量の値を計算でき、それぞれの関係性を説明できる。与えられた情報源のエントロピーを計算できる。条件付エントロピー、結合エントロピー、相互情報量の値を計算でき、それぞれの関係性を理解できる。次のいずれかに当てはまる。与えられた情報源のエントロピーを計算できない。条件付エントロピー、結合エントロピー、相互情報量の値を計算できない、もしくは、それぞれの関係性を理解できない。
情報源符号化ハフマン符号をはじめとして様々な符号化アルゴリズムを理解し、情報の符号化をすることができる。平均符号長の意味を理解し、計算することができる。コンパクト性について、その意味の概要を説明できる。情報源符号化の基礎概念を理解し、与えられた情報源に対するハフマン符号を示すことができる。平均符号長の意味を理解し、計算することができる。次のいずれかに当てはまる。情報源符号化の基礎概念を理解できず、与えられた情報源に対するハフマン符号を示すことができない。平均符号長の意味を理解できず、計算することができない。
通信路符号化通信路符号化の基礎概念を理解し、行列を用いた線形符号の符号化、および、復号・誤り検出・訂正の計算ができる。さらに、多項式を用いた巡回符号の符号化、および、復号・誤り検出・訂正の計算ができる。通信路符号化の基礎概念を理解し、行列を用いた線形符号の符号化、および、復号・誤り検出・訂正の計算ができる。通信路符号化の基礎概念を理解できず、行列を用いた線形符号の符号化、および、復号・誤り検出・訂正の計算ができない。

学科の到達目標項目との関係

教育方法等

概要:
情報通信関連の各分野に応用されている情報理論について、その概要と実際に応用されている領域、その理由などを理解する。デジタルデ-タや信号の伝送・蓄積における高能率処理化と高信頼性化に関する限界と実現方法を理解する。
授業の進め方・方法:
座学を中心とする。自学自習時間に相当する演習課題を家庭学習として毎回課す。情報理論に関係する確率論、統計学などの基礎数学が学習済であることを前提とする。
注意点:

授業の属性・履修上の区分

アクティブラーニング
ICT 利用
遠隔授業対応
実務経験のある教員による授業

授業計画

授業内容 週ごとの到達目標
後期
3rdQ
1週 1.ガイダンス
2.情報理論の概要(Ⅰ)
(1) 情報のディジタル化とシャノンの通信モデル
情報のディジタル化の仕組み、および、シャノンの通信モデルの概要について説明できる。
2週 2.情報理論の概要(Ⅰ)
(2) 確率過程と情報量
(3)無記憶情報源のエントロピー
情報量の定義の妥当性を説明でき、その値を計算できる。無記憶情報源を理解し、そのエントロピーを理解し計算できる。また、エントロピー関数の形を調べることができ、その意味を考察できる。
3週 3.情報源符号化
(1) 一意復号可能な符号と瞬時復号可能な符号
一意復号可能な符号、瞬時復号可能な符号を理解し、与えられた符号がこれらの性質を持っているか否かを判定できる。
4週 3.情報源符号化
(2) 平均符号長
固定長ないし可変長ブロックに対する符号が与えられた場合に、その平均符号長の計算をすることができる。また、無記憶情報源の拡大情報源を理解し、そのエントロピーを計算することができる。
5週 3.情報源符号化
(3) 情報源符号化定理
クラフトの不等式とマクミランの不等式の意味を理解し、証明の概要を理解できる。情報源符号化定理の証明を理解し、定理の概要を説明することができる。
6週 3.情報源符号化
(4) ハフマン符号
ハフマン符号の概念を理解し、符号木の生成、および、情報の符号化と復号をすることができる。また、ランレングス・ハフマン符号を構成することができる。
7週 3.情報源符号化
(5)様々な情報源符号化アルゴリズム
様々な情報源符号化アルゴリズムについて、その概要を理解し、情報の符号化と復号をすることができる。
8週 中間試験
4thQ
9週 4.情報理論の概要(Ⅱ)
(1) 複数の情報源のエントロピー
結合エントロピー、条件付エントロピー、相互情報量の定義の意味を理解し、計算できる。また、これらの情報量の関係を表す数式を理解し、図式的な説明をすることができる。
10週 4.情報理論の概要(Ⅱ)
(2)マルコフ情報源
マルコフ情報源を理解し、エルゴード性の概要を理解できる。小さな多重度の非周期的既約マルコフ情報源について、定常分布の計算、および、エントロピーの計算をすることができる。また、随伴情報源のエントロピーを計算し、関係性を説明することができる。
11週 5.通信路符号化
(1)通信路モデルと通信路容量
通信路符号化の概要について説明できる。基礎的な通信路モデルと通信路行列の対応を理解できる。また、通信路容量を計算することができる。
12週 5.通信路符号化
(2) 通信路符号化定理
通信路符号化定理を理解し、概要を説明することができる。
13週 5.通信路符号化
(3) 誤り検出・訂正
ハミング距離を計算することができる。最小距離復号法の概念を理解できる。最小ハミング距離と誤り検出・訂正能力との関係を理解し、説明することができる。偶数パリティ検査符号の符号化と誤り検出を行うことができる。
14週 5.通信路符号化
(4) 線形符号
行列を用いて、線形符号による符号化をすることができる。受信語のシンドロームを計算し、誤り検出・訂正を行うことができる。
15週 5.通信路符号化
(5) 巡回符号
有限体上の多項式を用いて、巡回符号による符号化をすることができる。受信語のシンドロームを計算し、誤り検出・訂正を行うことができる。
16週 期末試験

モデルコアカリキュラムの学習内容と到達目標

分類分野学習内容学習内容の到達目標到達レベル授業週

評価割合

試験合計
総合評価割合100100
情報理論の概要4040
情報源符号化3030
通信路符号化3030