情報理論

科目基礎情報

学校 鈴鹿工業高等専門学校 開講年度 平成30年度 (2018年度)
授業科目 情報理論
科目番号 0069 科目区分 専門 / 必修
授業形態 授業 単位の種別と単位数 履修単位: 2
開設学科 電子情報工学科 対象学年 4
開設期 通年 週時間数 2
教科書/教材 電気・電子系教科書シリーズ「情報理論」 三木成彦・吉川英機著(コロナ社)
担当教員 森島 佑

到達目標

1. 情報量の概念や情報源や通信路のモデル化など, 確率に基づいた概念を理解し, 計算を行うことができる.
2. 情報源符号化や通信路符号化において考慮すべき性質や理論的な限界について理解する.
3. 基本的なデータ圧縮アルゴリズムおよび誤り検出・訂正の概要を説明できる.

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
評価項目1情報量の概念, および確率モデルの手法について理解し, 与えられた確率分布にしたがって情報量の計算を行うことができる.例題や類題等を参考にしながら, 与えられた確率分布にしたがって情報量の計算を行うことができる.与えられた確率分布にしたがって, 情報量の計算を行うことができない.
評価項目2情報源符号化, 通信路符号化において, 符号化定理を説明でき, 対象とする問題に対し適切なモデルを選択できる.情報源符号化, 通信路符号化において, 符号化定理の概要を説明できる.情報源符号化, 通信路符号化において, 符号化定理の概要を説明することができない.
評価項目3基本的なデータ圧縮アルゴリズムおよび誤り検出・訂正の概要を説明でき, 符号化・復号処理を手計算により実行できる.基本的なデータ圧縮アルゴリズムおよび誤り検出・訂正の概要を説明できる.基本的なデータ圧縮アルゴリズムおよび誤り検出・訂正の概要を説明することができない.

学科の到達目標項目との関係

教育方法等

概要:
情報理論とは,情報を誤りなく,効率のよい伝送や記憶をするためにはどのようにすればよいかを系統的に取り扱う理論である.近年のインターネットや携帯電話の爆発的普及などに伴い,私たちのまわりを飛び交う情報の量は増え続けている.情報理論の応用分野は非常に幅広いので,最新の情報通信技術を理解するための基礎知識を習得していただきたい.
授業の進め方と授業内容・方法:
すべての内容は学習・教育到達目標(B)<基礎>およびJABEE基準1(2)(c)に対応する.
注意点:
<到達目標の評価方法と基準>
 上記の「知識・能力」1~12の習得の度合いを2回の中間試験,2回の定期試験,小テスト,レポートにより評価する.達成度評価における各「知識・能力」の重みは概ね均等である.評価結果が100点法で60点以上の場合に目標の達成とする.
<学業成績の評価方法および評価基準>
 前期中間,前期末,後期中間,および学年末の4回の試験の平均点を80%,小テスト・レポートの平均点を20%で評価する.再試験は実施しない.
<単位修得要件>
学業成績で60点以上を取得すること.
<あらかじめ要求される基礎知識の範囲>確率統計,対数,行列演算などの数学の基礎知識があればよい.

授業計画

授業内容・方法 週ごとの到達目標
前期
1週 序論,通信システムのモデル,標本化定理 1. 情報理論の目的,標本化定理を理解している.
2週 確率論1 2.条件つき確率など確率論の基礎を理解し,基本的な確率計算ができる.
3週 確率論2 2.条件つき確率など確率論の基礎を理解し,基本的な確率計算ができる.
4週 情報源とマルコフ過程 2.条件つき確率など確率論の基礎を理解し,基本的な確率計算ができる.
5週 情報量とエントロピー,冗長度 3.情報量,エントロピーの概念を説明でき,与えられた確率分布からエントロピーを計算できる.
6週 相互情報量 4.二つの情報源からなる結合,条件付きエントロピー,および相互情報量を計算できる.
7週 マルコフ情報源のエントロピー 4.二つの情報源からなる結合,条件付きエントロピー,および相互情報量を計算できる.
8週 中間試験 ここまでに学習した内容を説明し、必要な式の導出ができる
9週 符号化の概要 5.情報源符号が満たすべき条件を理解し,情報源符号化定理の意味を理解している.
10週 平均符号長と情報源符号化定理 6.シャノン符号,ファノ符号,ハフマン符号,ランレングス符号の符号化アルゴリズムを理解し,符号化と復号の操作および平均符号長の計算ができる.
11週 シャノン符号,ファノ符号, イライアス符号 6.シャノン符号,ファノ符号,ハフマン符号,ランレングス符号,算術符号の符号化アルゴリズムを理解し,符号化と復号の操作および平均符号長の計算ができる.
12週 ハフマン符号, ランレングス符号 6.シャノン符号,ファノ符号,ハフマン符号,ランレングス符号,算術符号の符号化アルゴリズムを理解し,符号化と復号の操作および平均符号長の計算ができる.
13週 算術符号 6.シャノン符号,ファノ符号,ハフマン符号,ランレングス符号,算術符号の符号化アルゴリズムを理解し,符号化と復号の操作および平均符号長の計算ができる.
14週 LZ符号 7.ユニバーサル符号であるZL77符号,ZL78符号の概要を理解している.
15週 暗号化技術の概要 8. 換字暗号などの基本的な暗号化技術の概要を理解している.
16週
後期
1週 通信路のモデル 9.通信路のモデルを理解し,2元通信路の通信路容量を計算できる.
2週 通信路容量と通信路符号化定理 10.2元通信路の通信路容量を計算でき,通信路符号化定理の意味を説明できる.
3週 誤り検出と訂正の理論 11.ハミング距離と符号の訂正能力の関係と性質について説明できる
4週 線形符号,パリティ検査符号 12.基本的な線形符号であるパリティ検査符号やハミング符号の符号化,および復号法を理解し,これらの検査行列を用いて誤りの検出や訂正の計算ができる.
5週 巡回符号 13.巡回符号の符号化および誤り検出や訂正を理解している.
6週 拡大体に基づく符号 14.拡大体の性質を利用した巡回符号の復号法を理解している.
7週 演習 15.基本的な線形符号の符号化,および復号法を理解し,これらの訂正能力について距離にもとづく説明をすることができる.
8週 中間試験 ここまでに学習した内容を説明し、必要な式の導出ができる
9週 畳込み符号 16.畳込み符号の符号化および誤り検出や訂正を理解している.
10週 畳込み符号とビタビ復号 16.畳込み符号の符号化および誤り検出や訂正を理解している.
11週 最尤復号と最大事後確率復号 17.最尤基準と最大事後確率基準の違いとこれらを評価するアルゴリズムについて理解している.
12週 最尤復号と最大事後確率復号 17.最尤基準と最大事後確率基準の違いとこれらを評価するアルゴリズムについて理解している.
13週 低密度パリティ検査符号 18.低密度パリティ検査符号の符号化および誤り検出や訂正を理解している.
14週 低密度パリティ検査符号 18.低密度パリティ検査符号の符号化および誤り検出や訂正を理解している.
15週 演習 19.畳込み符号,低密度パリティ検査符号について誤り検出や訂正の仕組みを理解している.
16週

評価割合

試験小テスト、レポート合計
総合評価割合8020100
配点8020100