情報理論Ⅱ

科目基礎情報

学校 福井工業高等専門学校 開講年度 平成31年度 (2019年度)
授業科目 情報理論Ⅱ
科目番号 0138 科目区分 専門 / 必修
授業形態 講義 単位の種別と単位数 学修単位: 1
開設学科 電子情報工学科 対象学年 5
開設期 前期 週時間数 前期:2
教科書/教材 教科書 「情報理論」三木成彦、吉川英機共著(コロナ社) / 参考書 「情報理論」(昭晃堂)
担当教員 野村 保之

目的・到達目標

(1)情報源符号化の効率を理解でき、通信路符号化の信頼性を理解できること。
(2)ハフマン符号化が構成でき、通信路容量が理解できること。
(3)情報理論における各種エントロピーが理解できること。

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
評価項目1ハフマン符号が理解でき、符号化できる。ハフマン符号が理解できる。ハフマン符号が理解できない。
評価項目2各種エントロピーの関係が理解でき、計算できる。各種エントロピーの関係が理解できる。各種エントロピーの関係が理解できない。
評価項目3相互情報量および情報速度が理解でき、実際に計算できる。相互情報量および情報速度が理解できる。相互情報量および情報速度が理解できない。

学科の到達目標項目との関係

学習・教育到達度目標 RB2 説明 閉じる
JABEE JB2 説明 閉じる
JABEE JB3 説明 閉じる

教育方法等

概要:
情報理論は、情報の伝達・蓄積・処理の効率化、高信頼性に関する基礎理論である。情報理論は、確率過程と密接に結びついており、符号理論などの数学的な側面を、効率の良い情報源符号化や通信路の信頼性と言った工学的要求に合致した形で実現化する基本的な考え方を理解させる。情報理論Ⅱでは、具体的な符号化及び通信路における信頼性向上のための符号化法を理解する。「環境生産システム工学」教育プログラムの学習・教育目標JB2「情報処理に関する基礎知識を理解できる」に対応する。
授業の進め方と授業内容・方法:
この科目は学修単位科目「B」です。授業外学修の時間を含めます。本科目は、融合複合型の「環境生産システム工学」教育プログラムの基礎工学である「情報・論理系」科目群の科目であり、学修単位として1単位あたり45時間の学修を必要とする。当該カリキュラムは前期15週1単位のため、一週あたりの学修は180分(3時間)で構成される。このうち、学校における授業を一週あたり90分として、残りの90分は自学・自習によって各自で取り組む。学校における授業は座学を中心とし、教科書に沿って講義形式で行う。毎回、授業外学修に取り組むための演習として課題を課し、理解度を深める。
注意点:
この科目は、学修単位B(30時間の授業で1単位)の科目である。 ただし、授業外学修の時間を含む。
学習教育目標:本科(準学士課程):RB2(◎)
学習教育目標:環境生産システム工学プログラム:JB2(〇), JB3(◎)
関連科目:数理統計学(本科3年)、情報理論Ⅰ(本科4年)、システム工学(本科5年)
学習教育目標(RB2, JB3)の達成及び科目取得の評価方法:中間確認試験(50%)・定期試験(50%)で評価する。ただし、各定期試験100点満点で60点未満の者に対しては、各々20点満点の再試験・レポートを課する。
学習教育目標(RB2, JB3)の達成及び科目取得の評価基準:学年成績60点以上を合格とする。

授業計画

授業内容・方法 週ごとの到達目標
前期
1stQ
1週 シラバスの説明・ガイダンス、「情報理論と通信システム」復習、ハフマン符号(構成法) 講義の方針とシラバスの説明をして、具体的な評価方法を示したのち、情報理論Ⅰで学習した内容を復習する。その後、具体的な情報源符号化の方法としての確率論に立脚したハフマン符号化を学習する。
2週 ハフマン符号(復号とブロック化) ハフマン符号化の復号方法と拡大情報源に基づいたブロック化ハフマン符号について学習する。
3週 ランレングス符号(固定長) 同じ情報がバースト的に生じる情報源の符号化に有効なランレングス符号について、固定長の符号化とその効率を知る。
4週 ランレングス符号(ハフマン符号化) ランレングスを可変長のハフマン符号化することによる効率の改善について学習する。
5週 結合エントロピー 複数の情報源から得られる平均情報量(エントロピー)を情報源の結合確率(同時確率)によって定義される結合エントロピーとして定式化し、その内容を理解する。
6週 条件付エントロピー、相互情報量 2種類の情報源間の条件付き確率によって定義される条件付きエントロピーと結合エントロピー・個別のエントロピー間の関係を理解する。これらの関係より、相互情報量が定義され、その性質をベン図によって理解する。
7週 マルコフ情報源のエントロピー マルコフ情報源の状態遷移図より定常確率の計算を行い、エントロピーを条件付きエントロピーとして定義することを理解する。また、随伴情報源との比較によりマルコフ情報源の性質を習熟する。
8週 中間確認試験 各種符号化及び平均符号長とエントロピーの関係・相互情報量に関する習熟度を評価する。
2ndQ
9週 試験の解答・説明、通信路のモデル 通信路の雑音に対する信頼性向上の手段としての通信路符号化の概念を習得する。
10週 2元対称通信路(BSC)、2元消失通信路(BEC) 通信路の例として、2元対称通信路及び2元消失通信路の通信路行列及び通信路線図を学習する。
11週 通信路容量、BSC,BECの通信路容量 相互情報量の送信側確率分布による最大化量としての通信路容量を定義し、実際にBSC/BECに適用して計算方法を習得する。
12週 平均誤り率 通信路符号化に対して、出力側のグループ化により誤り通信が軽減されることを理解し、具体例により平均誤り率の計算を習得する。
13週 情報速度 通信路符号化の時に必要となる情報速度と通信路容量との関係から、誤りなし通信の概念を学習する。
14週 通信路符号化定理 通信路符号化定理の簡略証明をランダム符号化と出力のグループ化の概念を用いて学習する。
15週 期末試験 通信路符号化における通信路容量・情報速度・出力のグループ化についての習熟度を評価する。
16週 学習のまとめ 情報理論Ⅱで学習した内容の総括を行い、理解度を向上する。

評価割合

試験合計
総合評価割合100100
基礎的能力4040
専門的能力4040
分野横断的能力2020