情報理論

科目基礎情報

学校 苫小牧工業高等専門学校 開講年度 2018
授業科目 情報理論
科目番号 117039 科目区分 専門 / 必修
授業形態 授業 単位の種別と単位数 学修単位: 2
開設学科 情報工学科 対象学年 5
開設期 後期 週時間数 後期:3
教科書/教材 教科書: 三木成彦,吉川英機 「電気・電子系教科書シリーズ22 情報理論」 コロナ社 / 教材: 紙または電子媒体の資料 / 参考図書: 大石進一 「例にもとづく情報理論入門」 講談社サイエンティフィック, 橋本 清 「情報・符号理論入門」 森北出版, 平田廣則 「情報理論のエッセンス」 昭晃堂, 横尾英俊 「情報理論の基礎」 共立出版, 塩野 充 「わかりやすいディジタル情報理論」 オーム社, 今井秀樹 「情報理論」 昭晃堂, 瀧 保夫 「情報論Ⅰ」 岩波書店, R. B. Ash 「Information Theory」 Dover Publications, 1990, T. M. Cover, J. A. Thomas 「Elements of Information Theory」 John Wiley & Sons, 1991,他
担当教員 中村 庸郎

到達目標

 1. 情報量とエントロピーの概念について説明でき,指示された計算ができる.
 2. 情報源符号化の方法とその限界について説明でき,効率の良い符号を構成できる.
 3. ハフマン符号,ランレングス符号,算術符号について説明でき,符号化・復号ができる.
 4. 各種エントロピーの概念について説明でき,指示された計算ができる.
 5. マルコフ情報源の概念について説明でき,エントロピーを計算できる.

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
評価項目1情報量とエントロピーの概念を十分に理解しており,自力で正しく計算できる.情報量とエントロピーの概念を理解し,標準的なレベルで計算できる.情報量とエントロピーの概念を十分に理解できておらず,正しく計算できない.
評価項目2情報源符号化の方法とその限界を十分に理解しており,効率の良い符号を自力で正しく構成できる.情報源符号化の方法とその限界を理解し,効率の良い符号を標準的なレベルで構成できる.情報源符号化の方法とその限界を十分に理解できておらず,効率の良い符号を正しく構成できない.
評価項目3ハフマン符号,ランレングス符号,算術符号を十分に理解しており,自力で正しく符号化・復号できる.ハフマン符号,ランレングス符号,算術符号を理解し,標準的なレベルで符号化・復号ができる.ハフマン符号,ランレングス符号,算術符号を十分に理解できておらず,正しく符号化・復号できない.
評価項目4各種エントロピーの概念を十分に理解しており,自力で正しく計算できる.各種エントロピーの概念を理解し,標準的なレベルで計算できる.各種エントロピーの概念を十分に理解できておらず,正しく計算できない.
評価項目5マルコフ情報源の概念を十分に理解しており,自力で正しくエントロピーを計算できる.マルコフ情報源の概念を理解し,標準的なレベルでエントロピーを計算できる.マルコフ情報源の概念を十分に理解できておらず,正しくエントロピーを計算できない.

学科の到達目標項目との関係

JABEE基準1 学習・教育到達目標 (c) 数学及び自然科学に関する知識とそれらを応用できる能力
JABEE基準1 学習・教育到達目標 (d)(1) 専門工学(工学(融合複合・新領域)における専門工学の内容は申請高等教育機関が規定するものとする)の知識と能力
JABEE基準1 学習・教育到達目標 (e) 種々の科学,技術および情報を利用して社会の要求を解決するためのデザイン能力
JABEE基準1 学習・教育到達目標 (g) 自主的,継続的に学習できる能力
学習目標 Ⅱ 実践性
学校目標 D(工学基礎) 数学,自然科学,情報技術および工学の基礎知識と応用力を身につける
学科目標 D(工学基礎) 数学,自然科学,情報技術および計算機システムⅠ・Ⅱ,オペレーティングシステムⅠ・Ⅱ,情報理論などを通して,工学の基礎知識と応用力を身につける.
本科の点検項目 D-ⅳ 数学,自然科学,情報技術および工学の基礎知識を専門分野の工学的問題解決に応用できる
学校目標 E(継続的学習) 技術者としての自覚を持ち,自主的,継続的に学習できる能力を身につける
本科の点検項目 E-ⅱ 工学知識,技術の修得を通して,継続的に学習することができる
学校目標 F(専門の実践技術) ものづくりに関係する工学分野のうち,得意とする専門領域を持ち,その技術を実践できる能力を身につける
学科目標 F(専門の実践技術) ものづくりに関係する工学分野のうち,情報工学実験,情報通信Ⅰ・Ⅱ,システム工学などを通して,得意とする専門領域を持ち,その技術を実践できる能力を身につける.
本科の点検項目 F-ⅰ ものづくりや環境に関係する工学分野のうち,専門とする分野の知識を持ち,基本的な問題を解くことができる

教育方法等

概要:
 情報理論は,ディジタル化された情報の表現・伝送を,確率に基づく数学モデルを通して一般的に扱う理論である.
 本講義では,情報理論の基礎的事項である情報源符号化の仕組みを中心に解説する.
授業の進め方・方法:
 授業項目に対する達成目標に関する問題・課題を,定期試験・到達度試験および授業中に出題する.
 評価時の重み付けは,定期試験45%、到達度試験25%,課題等30%であり,合格点は60点以上である.
 講義および課題に取り組む前には,授業項目の内容整理,予習復習を行うこと.
 なお,再試験は基本的に実施されないものと考えておくこと.
注意点:
 「応用数学」,「情報数学」,「信号処理Ⅰ」,基本的な計算能力,説明のための文章力などの前提知識および自学学習(45時間以上)が必要である. 
 受講に際して,教科書,ノート,筆記用具,関数電卓を持参すること.
 課題の提出を要する場合には期限を守ること.

授業計画

授業内容 週ごとの到達目標
後期
3rdQ
1週 情報理論の概略  工学における情報の扱い,通信システムのモデルとその構成要素,2つの符号化の役割と例について説明できる.
2週 情報源のモデル,情報量,エントロピー(1)  情報源のモデルと構成要素について説明できる.
3週 情報源のモデル,情報量,エントロピー(2)  情報量とエントロピーの概念とその性質について説明でき,実際に計算できる.
4週 情報源符号化(1)  符号の構成要素,分類について説明・実践ができる.効率の良い符号が満たすべき性質と具体的な構成方法について説明・実践ができる.
5週 情報源符号化(2)  符号の構成要素,分類について説明・実践ができる.効率の良い符号が満たすべき性質と具体的な構成方法について説明・実践ができる.
6週 情報源符号化(3)  符号の構成要素,分類について説明・実践ができる.効率の良い符号が満たすべき性質と具体的な構成方法について説明・実践ができる.
7週 情報源符号の例(1)  シャノン符号や最短符号の例であるハフマン符号の構成方法を説明でき,構成および復号ができる.
8週 情報源符号の例(2)  シャノン符号や最短符号の例であるハフマン符号の構成方法を説明でき,構成および復号ができる.
4thQ
9週 情報源符号の例(3)  ランレングス符号の構成方法を説明でき,構成および復号ができる.
10週 情報源符号の例(4)  算術符号やZL符号の構成方法を説明でき,構成および復号ができる.
11週 各種情報量(1)  複数の情報源間の各種エントロピーや相互情報量について説明でき,具体的に計算できる.
12週 各種情報量(2)  複数の情報源間の各種エントロピーや相互情報量について説明でき,具体的に計算できる.
13週 マルコフ情報源のエントロピー(1)  記憶のある情報源であるマルコフ情報源およびそのエントロピーの概念について説明でき,説明・表現できる.
14週 マルコフ情報源のエントロピー(2)  記憶のある情報源であるマルコフ情報源およびそのエントロピーの概念について説明でき,説明・表現できる.
15週 総合演習 各種情報源,各種情報量・エントロピー,情報源符号化に関する演習問題を実際に解くことができる.
16週 後期定期試験 各種情報源,各種情報量・エントロピー,情報源符号化等について,説明・計算することができる.

評価割合

定期試験到達度試験課題等合計
総合評価割合452530100
基礎的能力0000
専門的能力452530100
分野横断的能力0000