Information Theory

Course Information

College Kure College Year 2022
Course Title Information Theory
Course Code 0203 Course Category Specialized / 選択必修/選択
Class Format Lecture Credits School Credit: 1
Department Electrical Engineering and Information Science Student Grade 4th
Term First Semester Classes per Week 2
Textbook and/or Teaching Materials 三木 成彦,吉川 英機, 「情報理論」,(コロナ社)
Instructor Yokose Yoshio

Course Objectives

1.情報量,エントロピーの意味を理解し,計算が容易にできること
2.シャノンの符号化,ハフマンの符号化について理解する
3.情報源の拡大方法を理解する
4.各種圧縮に関する符号化法を理解する

Rubric

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
評価項目1情報量の応用計算ができる。情報量の計算ができる。情報量の計算ができない。
評価項目2各種情報量の応用計算ができる。各種情報量の計算ができる。各種情報量の計算ができない。
評価項目3各種符号化の応用ができる。各種符号化ができる。各種符号化ができない。

Assigned Department Objectives

Teaching Method

Outline:
 情報理論は情報工学の一分野であり,情報・通信を数学的に論じる教科である。講義では確率論,情報量と符号化法について学ぶ。
Style:
 講義および演習を基本とする。適宜,小テストや演習を実施し,課題を課す。
Notice:
 質問事項や理解の出来ない点があれば,適宜指導教員に質問し,講義内容を完全に理解すること。
 わからないところを残すことの無いようにすること。

Characteristics of Class / Division in Learning

Active Learning
Aided by ICT
Applicable to Remote Class
Instructor Professionally Experienced

Course Plan

Theme Goals
1st Semester
1st Quarter
1st 授業概要
確率の基礎
情報理論の概要
集合,試行,確率,平均,条件付確率
2nd 情報源符号化 情報源のモデル,情報量
3rd 情報源符号化 エントロピー
4th 情報源符号化 情報源符号化・平均符号長
5th 情報源符号 シャノンの符号化定理
6th 情報源符号 ランレングス符号
7th 中間試験 中間試験
8th 答案返却・解答説明 答案返却・解答説明
2nd Quarter
9th 情報源符号 ランレングス・ハフマン符号
10th 情報源符号 算術符号
11th 情報源符号 ZL符号
12th 各種情報量 結合エントロピー
13th 各種情報量 条件付きエントロピー
14th 各種情報量 相互情報量
マルコフ情報源のエントロピー
15th 答案返却・解答説明 答案返却・解答説明
16th

Evaluation Method and Weight (%)

試験発表相互評価態度ポートフォリオその他Total
Subtotal70000300100
基礎的能力0000000
専門的能力70000300100
分野横断的能力0000000