Information Theory

Course Information

College	Akashi College	Year	2019
Course Title	Information Theory
Course Code	0046	Course Category	Specialized / Elective
Class Format	Lecture	Credits	School Credit: 1
Department	Electrical and Computer Engineering Electrical Engineering Course	Student Grade	5th
Term	First Semester	Classes per Week	2
Textbook and/or Teaching Materials	使用しない(適宜資料を配布する)。
Instructor	NAKAI Yuichi

Course Objectives

(1) 情報の量はどのように定義されるか、またその妥当性はどう保証されるかを理解する。
(2) 様々な情報源の定義、各々の情報源のエントロピーの意味を理解し、それを導出できる。
(3) 符号の種類と符号が満たすべき条件を理解し、平均符号長とその限界を導出できる。
(4) Shannonの第一定理とその意義を理解する。
(5)通信路とは何でありどのような種類があるか。またどのような形式で表現できるのかを理解する。
(6)Shannonの第二定理の意義を理解する。

Rubric

	理想的な到達レベルの目安	標準的な到達レベルの目安	未到達レベルの目安
評価項目1	情報の量はどのように定義されるか、またその妥当性はどう保証されるかを的確に説明できる。	情報の量はどのように定義されるか、またその妥当性はどう保証されるかを説明できる。	情報の量はどのように定義されるか、またその妥当性はどう保証されるかを説明できない。
評価項目2	様々な情報源の定義、各々の情報源のエントロピーの意味を理解し、それを的確に導出できる。	様々な情報源の定義、各々の情報源のエントロピーの意味を理解し、それを導出できる。	様々な情報源の定義、各々の情報源のエントロピーの意味を理解できない。
評価項目3	符号の種類と符号が満たすべき条件を理解し、平均符号長とその限界を的確に導出できる。	符号の種類と符号が満たすべき条件を理解し、平均符号長とその限界を導出できる。	符号の種類と符号が満たすべき条件、平均符号長とその限界を理解できない。
評価項目4	Shannonの第一定理とその意義を的確に説明できる。	Shannonの第一定理とその意義を説明できる。	Shannonの第一定理とその意義を説明できない。
評価項目5	通信路とは何でありどのような種類があるか、またどのような形式で表現できるのかを具体的に説明できる。	通信路とは何でありどのような種類があるか、またどのような形式で表現できるのかを説明できる。	通信路とは何でありどのような種類があるか、またどのような形式で表現できるのかを説明できない。
評価項目6	Shannonの第二定理の意義を的確に説明できる。	Shannonの第二定理の意義を説明できる。	Shannonの第二定理の意義を説明できない。

Assigned Department Objectives

学習・教育到達度目標 (D) （基礎学力と自主的・継続的学習能力）

学習・教育到達度目標 (H) （多次元的なシステム思考）

Teaching Method

Outline:

C.E. Shannonを創始者とする情報理論における成果は現代生活においてなくてはならないものとなっている。本講義では通信システムにおいて、情報を「速く」かつ「正確に」伝送するために必要な知識について説明する。前半では情報の定量化から始まりShannonの第一定理までを説明する。後半は通信路の定義から始まりShannonの第二定理について述べる。

Style:

スライドを用いた講義形式で授業を行う。練習問題を課すので、自分の理解の程度を確認するために積極的に取り組むこと。

Notice:

確率、統計の知識を前提で講義を行うのでこれらの事項に関してよく理解しておくこと。
合格の対象としない欠席条件(割合) 1/3以上の欠課

Course Plan

			Theme	Goals
1st Semester
	1st Quarter
		1st	通信システムのモデル	情報理論で想定する通信システムのモデルについて説明し、情報の定量化ができる。
		2nd	無記憶情報源とエントロピー	最も単純な情報源である無記憶情報源の説明と情報源の内部構造を探る手がかりとなるエントピーについて説明できる。
		3rd	マルコフ情報源とエントロピー	現実の情報源により近いマルコフ情報源の説明とそのエントロピーの導出ができる。
		4th	符号とは	符号の定義を行い、符号が満たすべきいくつかの条件について説明できる。
		5th	平均符号長とエントロピー	平均符号長の定義と瞬時に復号可能な符号の平均符号長の限界について説明できる。
		6th	Shannonの第一定理	Shannonの第一定理の式とその意義についての説明できる。
		7th	Huffman符号	コンパクト符号を構成できる符号化法としてHuffman符号を構成できる。
		8th	中間試験
	2nd Quarter
		9th	通信路	通信路の定義、その表現方法について説明できる。
		10th	相互情報量	通信路を介して伝送される情報について定義される相互情報量について説明できる。
		11th	様々な通信路	雑音のない通信路、確定的通信路、通信路の縦続接続および縮退通信路について説明できる。
		12th	通信路容量	相互情報量の考察から導かれる通信路容量の定義を説明できる。
		13th	通信路の信頼性向上	通信路を介しての情報伝送において信頼性を向上させる方法について説明できる。
		14th	誤り率と判定規則	通信路における誤り率を小さくするための判定規則について説明できる。
		15th	Shannonの第二定理	二元対称通信路に対するShannonの第二定理を説明できる。
		16th	期末試験

Evaluation Method and Weight (%)

	試験	発表	相互評価	態度	ポートフォリオ	その他	Total
Subtotal	100	0	0	0	0	0	100
基礎的能力	0	0	0	0	0	0	0
専門的能力	100	0	0	0	0	0	100
分野横断的能力	0	0	0	0	0	0	0