情報理論

科目基礎情報

学校	久留米工業高等専門学校	開講年度	令和07年度 (2025年度)
授業科目	情報理論
科目番号	5E07	科目区分	専門 / 必修
授業形態	講義	単位の種別と単位数	履修単位: 1
開設学科	電気電子工学科	対象学年	5
開設期	後期	週時間数	2
教科書/教材	教科書：「イラストで学ぶ　情報理論の考え方」，植松友彦，講談社. 参考図書：基礎から学ぶ情報理論第2版、中村篤洋、喜田拓也、湊真一、廣瀬善大、ムイスリ出版
担当教員	宮﨑浩一

到達目標

１．情報理論の各種概念を数学を用いて説明できる．
２．情報量や情報量の性質を数学を用いて説明できる．
３．情報源の符号化を数学を用いて説明できる．

ルーブリック

	理想的な到達レベルの目安	標準的な到達レベルの目安	未到達レベルの目安
評価項目1	情報理論の各種概念を数学を用いて説明できる．	情報理論の各種概念の数学を用いた説明が理解できる．	情報理論の各種概念の数学を用いた説明が理解できない．
評価項目2	情報量や情報量の性質を数学を用いて説明できる．	情報量やその性質の数学を用いた説明が理解できる．	情報量やその性質の数学を用いた説明が理解できない．
評価項目3	情報源の符号化を数学を用いて説明できる。	情報源の符号化の数学を用いた説明が理解できる．	情報源の符号化の数学を用いた説明が理解できない．

学科の到達目標項目との関係

1 説明

JABEE B-1 説明

教育方法等

概要:

情報理論の基礎を学ぶことを目的とする．単に情報理論で使われる言葉の表面的な理解をするのではなく，大学院等で本格的に情報理論を研究するために必要な基礎学力の習得を目指す．確率の定義をコルモゴロフの公理的定義からスタートし，情報理論の基礎を積み上げる．ただし，この授業では，情報源符号化定理にフォーカスし，エントロピーの本当の意味を理解することを中心にすえる．教科書の前半をカバーする．

授業の進め方・方法:

授業は教科書に沿って行う．確率や統計の知識（確率過程など）を必要とする場合は，適宜板書やプリント等で補いながら行う．この授業では，教科書の前半をカバーし，通信路符号化定理に関しては，結論の式を述べるにとどめる．また，教科書の定理の証明を通して，証明における記号の扱い方など，より汎用的な能力を高めるためるようにする．授業終了時には，受講者全員が，情報理論におけるエントロピーとは何かを，自信をもって述べられるようにすることがこの授業の目的である．

注意点:

参考図書：基礎から学ぶ情報理論第2版、中村篤洋、喜田拓也、湊真一、廣瀬善大、ムイスリ出版

評価方法詳細：
定期試験 70%，課題等その他 30% を目安として評価する．　60点以上を合格とする．原則再試は行わない．
次回の授業範囲を予習し、教科書の該当範囲を事前に読んでおくこと。

授業の属性・履修上の区分

アクティブラーニング	ICT 利用	遠隔授業対応	実務経験のある教員による授業

授業計画

		週	授業内容	週ごとの到達目標
後期
	3rdQ
		1週	情報理論とは	情報理論とは何か理解できる．
		2週	情報理論の概要	情報理論の全体像を理解できる．
		3週	情報の表現	集合と順序対を再確認する．
		4週	確率の基礎	確率のコルモゴロフの公理的定義を理解できる．
		5週	情報量	各種情報量の定義とその意味を理解できる．
		6週	情報量の性質（１）	イェンゼンの不等式と対数和不等式を理解できる．
		7週	情報量の性質（２）	ダイバージェンスの非負性やエントロピーの上界式を証明できる．
		8週	まとめ（１）	情報理論とは何か、情報理論におけるエントロピーとは何かを説明でき、エントロピーの計算ができる．
	4thQ
		9週	確率分布について	二項分布とポアソン分布を理解している．
		10週	大数の法則を証明する（１）	大数の法則を理解できる．
		11週	情報源の符号化（１）	情報源符号，平均符号語頭符号を理解できる．
		12週	情報源の符号化（２）	クラフトの不等式を理解できる．
		13週	情報源の符号化（３）	情報源符号化逆定理，情報源符号化定理を理解できる．
		14週	ハフマン符号	ハフマン符号を理解できる．
		15週	まとめ（２）	情報源符号化とは何か、情報源符号化に関する定理、情報源符号化の手法を説明できる．
		16週

モデルコアカリキュラムの学習内容と到達目標

分類		分野	学習内容	学習内容の到達目標	到達レベル	授業週
基礎的能力	工学基礎	情報リテラシー	情報リテラシー	情報伝達システムやインターネットの基本的な仕組みを把握している。	3	後1,後2

評価割合

	試験	発表	相互評価	態度	ポートフォリオ	その他	合計
総合評価割合	70	0	0	0	0	30	100
基礎的能力	0	0	0	0	0	0	0
専門的能力	70	0	0	0	0	30	100
分野横断的能力	0	0	0	0	0	0	0