情報理論

科目基礎情報

学校	明石工業高等専門学校	開講年度	令和02年度 (2020年度)
授業科目	情報理論
科目番号	0046	科目区分	専門 / 選択
授業形態	講義	単位の種別と単位数	履修単位: 1
開設学科	電気情報工学科（電気電子工学コース）	対象学年	5
開設期	前期	週時間数	2
教科書/教材	使用しない(適宜資料を配布する)。
担当教員	中井 優一

到達目標

(1) 情報の量はどのように定義されるか、またその妥当性はどう保証されるかを理解する。
(2) 様々な情報源の定義、各々の情報源のエントロピーの意味を理解し、それを導出できる。
(3) 符号の種類と符号が満たすべき条件を理解し、平均符号長とその限界を導出できる。
(4) Shannonの第一定理とその意義を理解する。
(5)通信路とは何でありどのような種類があるか。またどのような形式で表現できるのかを理解する。
(6)Shannonの第二定理の意義を理解する。

ルーブリック

	理想的な到達レベルの目安	標準的な到達レベルの目安	未到達レベルの目安
評価項目1	情報の量はどのように定義されるか、またその妥当性はどう保証されるかを的確に説明できる。	情報の量はどのように定義されるか、またその妥当性はどう保証されるかを説明できる。	情報の量はどのように定義されるか、またその妥当性はどう保証されるかを説明できない。
評価項目2	様々な情報源の定義、各々の情報源のエントロピーの意味を理解し、それを的確に導出できる。	様々な情報源の定義、各々の情報源のエントロピーの意味を理解し、それを導出できる。	様々な情報源の定義、各々の情報源のエントロピーの意味を理解できない。
評価項目3	符号の種類と符号が満たすべき条件を理解し、平均符号長とその限界を的確に導出できる。	符号の種類と符号が満たすべき条件を理解し、平均符号長とその限界を導出できる。	符号の種類と符号が満たすべき条件、平均符号長とその限界を理解できない。
評価項目4	Shannonの第一定理とその意義を的確に説明できる。	Shannonの第一定理とその意義を説明できる。	Shannonの第一定理とその意義を説明できない。
評価項目5	通信路とは何でありどのような種類があるか、またどのような形式で表現できるのかを具体的に説明できる。	通信路とは何でありどのような種類があるか、またどのような形式で表現できるのかを説明できる。	通信路とは何でありどのような種類があるか、またどのような形式で表現できるのかを説明できない。
評価項目6	Shannonの第二定理の意義を的確に説明できる。	Shannonの第二定理の意義を説明できる。	Shannonの第二定理の意義を説明できない。

学科の到達目標項目との関係

学習・教育到達度目標 (D) （基礎学力と自主的・継続的学習能力）

学習・教育到達度目標 (H) （多次元的なシステム思考）

教育方法等

概要:

C.E. Shannonを創始者とする情報理論における成果は現代生活においてなくてはならないものとなっている。本講義では通信システムにおいて、情報を「速く」かつ「正確に」伝送するために必要な知識について説明する。前半では情報の定量化から始まりShannonの第一定理までを説明する。後半は通信路の定義から始まりShannonの第二定理について述べる。

授業の進め方・方法:

スライドを用いた講義形式で授業を行う。練習問題を課すので、自分の理解の程度を確認するために積極的に取り組むこと。

注意点:

確率、統計の知識を前提で講義を行うのでこれらの事項に関してよく理解しておくこと。
合格の対象としない欠席条件(割合) 1/3以上の欠課

授業計画

		週	授業内容	週ごとの到達目標
前期
	1stQ
		1週	通信システムのモデル	情報理論で想定する通信システムのモデルについて説明し、情報の定量化ができる。
		2週	無記憶情報源とエントロピー	最も単純な情報源である無記憶情報源の説明と情報源の内部構造を探る手がかりとなるエントピーについて説明できる。
		3週	マルコフ情報源とエントロピー	現実の情報源により近いマルコフ情報源の説明とそのエントロピーの導出ができる。
		4週	符号とは	符号の定義を行い、符号が満たすべきいくつかの条件について説明できる。
		5週	平均符号長とエントロピー	平均符号長の定義と瞬時に復号可能な符号の平均符号長の限界について説明できる。
		6週	Shannonの第一定理	Shannonの第一定理の式とその意義についての説明できる。
		7週	Huffman符号	コンパクト符号を構成できる符号化法としてHuffman符号を構成できる。
		8週	中間試験
	2ndQ
		9週	通信路	通信路の定義、その表現方法について説明できる。
		10週	相互情報量	通信路を介して伝送される情報について定義される相互情報量について説明できる。
		11週	様々な通信路	雑音のない通信路、確定的通信路、通信路の縦続接続および縮退通信路について説明できる。
		12週	通信路容量	相互情報量の考察から導かれる通信路容量の定義を説明できる。
		13週	通信路の信頼性向上	通信路を介しての情報伝送において信頼性を向上させる方法について説明できる。
		14週	誤り率と判定規則	通信路における誤り率を小さくするための判定規則について説明できる。
		15週	Shannonの第二定理	二元対称通信路に対するShannonの第二定理を説明できる。
		16週	期末試験

評価割合

	試験	発表	相互評価	態度	ポートフォリオ	その他	合計
総合評価割合	100	0	0	0	0	0	100
基礎的能力	0	0	0	0	0	0	0
専門的能力	100	0	0	0	0	0	100
分野横断的能力	0	0	0	0	0	0	0