情報理論

科目基礎情報

学校 苫小牧工業高等専門学校 開講年度 平成31年度 (2019年度)
授業科目 情報理論
科目番号 228112 科目区分 専門 / 必修
授業形態 授業 単位の種別と単位数 学修単位: 2
開設学科 情報工学科 対象学年 5
開設期 後期 週時間数 前期:0 後期:3
教科書/教材 教科書: 三木成彦,吉川英機 「電気・電子系教科書シリーズ22 情報理論」 コロナ社 / 教材: 紙または電子媒体の資料 / 参考図書: 大石進一 「例にもとづく情報理論入門」 講談社サイエンティフィック, 橋本 清 「情報・符号理論入門」 森北出版, 平田廣則 「情報理論のエッセンス」 昭晃堂, 横尾英俊 「情報理論の基礎」 共立出版, 塩野 充 「わかりやすいディジタル情報理論」 オーム社, 今井秀樹 「情報理論」 昭晃堂, 瀧 保夫 「情報論Ⅰ」 岩波書店, R. B. Ash 「Information Theory」 Dover Publications, 1990, T. M. Cover, J. A. Thomas 「Elements of Information Theory」 John Wiley & Sons, 1991,他
担当教員 中村 庸郎

到達目標

1. 情報量とエントロピーの概念について説明でき,指示された計算ができる.
2. 情報源符号化の方法とその限界について説明でき,効率の良い符号を構成できる.
3. ハフマン符号,ランレングス符号,算術符号について説明でき,符号化・復号ができる.
4. 各種エントロピーの概念について説明でき,指示された計算ができる.
5. マルコフ情報源の概念について説明でき,エントロピーを計算できる.

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
評価項目1情報量とエントロピーの概念を十分に理解しており,自力で正しく計算できる.情報量とエントロピーの概念を理解し,標準的なレベルで計算できる.情報量とエントロピーの概念を十分に理解できておらず,正しく計算できない.
評価項目2情報源符号化の方法とその限界を十分に理解しており,効率の良い符号を自力で正しく構成できる.情報源符号化の方法とその限界を理解し,効率の良い符号を標準的なレベルで構成できる.情報源符号化の方法とその限界を十分に理解できておらず,効率の良い符号を正しく構成できない.
評価項目3ハフマン符号,ランレングス符号,算術符号を十分に理解しており,自力で正しく符号化・復号できる.ハフマン符号,ランレングス符号,算術符号を理解し,標準的なレベルで符号化・復号ができる.ハフマン符号,ランレングス符号,算術符号を十分に理解できておらず,正しく符号化・復号できない.
評価項目4各種エントロピーの概念を十分に理解しており,自力で正しく計算できる.各種エントロピーの概念を理解し,標準的なレベルで計算できる.各種エントロピーの概念を十分に理解できておらず,正しく計算できない.
評価項目5マルコフ情報源の概念を十分に理解しており,自力で正しくエントロピーを計算できる.マルコフ情報源の概念を理解し,標準的なレベルでエントロピーを計算できる.マルコフ情報源の概念を十分に理解できておらず,正しくエントロピーを計算できない.

学科の到達目標項目との関係

JABEE基準1 学習・教育到達目標 (c), JABEE基準1 学習・教育到達目標 (d)(1), JABEE基準1 学習・教育到達目標 (e), JABEE基準1 学習・教育到達目標 (g), 学習目標 Ⅱ, 学校目標 D(工学基礎), 学科目標 D(工学基礎), 本科の点検項目 D-ⅳ, 学校目標 E(継続的学習), 本科の点検項目 E-ⅱ, 学校目標 F(専門の実践技術), 学科目標 F(専門の実践技術) , 本科の点検項目 F-ⅰ

教育方法等

概要:
情報理論は,ディジタル化された情報の表現・伝送を,確率に基づく数学モデルを通して一般的に扱う理論である.
本講義では,情報理論の基礎的事項である情報源符号化の仕組みを中心に解説する.
授業の進め方と授業内容・方法:
この科目は学修単位科目である上,各授業項目は前後の学習内容と密接に関係しているため,事前・事後学習として課題等を出題する.
授業項目に対する達成度は,定期試験・到達度試験で確認する.
評価時の重み付けは定期試験45%・到達度試験25%・課題等30%であり,評価が60点以上であれば合格とする.
到達度試験については,クラス全体の成績を考慮の上で複数回実施する場合もある.
再試験を実施する場合,本校の規則より再試験の成績で代えることができるのは定期試験の割合45%のみであるため,評価時の重み付けは再試験45%・到達度試験25%・課題等30%となり,評価が60点に達すれば合格とする.
注意点:
「応用数学」,「情報数学」,「信号処理Ⅰ」,基本的な計算能力,説明のための文章力などの前提知識が必要である. 
受講に際して,教科書,ノート,筆記用具,関数電卓を持参すること.
課題の提出を要する場合には期限を守ること.

授業計画

授業内容・方法 週ごとの到達目標
後期
1週 情報理論の概略  工学における情報の扱い,通信システムのモデルとその構成要素,2つの符号化の役割と例について説明できる.
2週 情報源のモデル,情報量,エントロピー(1)  情報源のモデルと構成要素について説明できる.
3週 情報源のモデル,情報量,エントロピー(2)  情報量とエントロピーの概念とその性質について説明でき,実際に計算できる.
4週 情報源符号化(1)  符号の構成要素,分類について説明・実践ができる.効率の良い符号が満たすべき性質と具体的な構成方法について説明・実践ができる.
5週 情報源符号化(2)  符号の構成要素,分類について説明・実践ができる.効率の良い符号が満たすべき性質と具体的な構成方法について説明・実践ができる.
6週 情報源符号化(3)  符号の構成要素,分類について説明・実践ができる.効率の良い符号が満たすべき性質と具体的な構成方法について説明・実践ができる.
7週 情報源符号の例(1)  シャノン符号や最短符号の例であるハフマン符号の構成方法を説明でき,構成および復号ができる.
8週 情報源符号の例(2)  シャノン符号や最短符号の例であるハフマン符号の構成方法を説明でき,構成および復号ができる.
9週 情報源符号の例(3)  ランレングス符号の構成方法を説明でき,構成および復号ができる.
10週 情報源符号の例(4)  算術符号やZL符号の構成方法を説明でき,構成および復号ができる.
11週 各種情報量(1)  複数の情報源間の各種エントロピーや相互情報量について説明でき,具体的に計算できる.
12週 各種情報量(2)  複数の情報源間の各種エントロピーや相互情報量について説明でき,具体的に計算できる.
13週 マルコフ情報源のエントロピー(1)  記憶のある情報源であるマルコフ情報源およびそのエントロピーの概念について説明でき,説明・表現できる.
14週 マルコフ情報源のエントロピー(2)  記憶のある情報源であるマルコフ情報源およびそのエントロピーの概念について説明でき,説明・表現できる.
15週 総合演習 各種情報源,各種情報量・エントロピー,情報源符号化に関する演習問題を実際に解くことができる.
16週 後期定期試験 各種情報源,各種情報量・エントロピー,情報源符号化等について,説明・計算することができる.

評価割合

定期試験到達度試験課題等合計
総合評価割合452530100
基礎的能力0000
専門的能力452530100
分野横断的能力0000