情報理論

科目基礎情報

学校 宇部工業高等専門学校 開講年度 2017
授業科目 情報理論
科目番号 0008 科目区分 専門 / 必修
授業形態 講義 単位の種別と単位数 履修単位: 1
開設学科 制御情報工学科 対象学年 5
開設期 前期 週時間数 2
教科書/教材 マルチメディア時代の情報理論(小川英一, コロナ社)
担当教員 田辺 誠

到達目標

情報理論についての講義を行う。
①情報量の数学的定義を用いてエントロピーや情報源の分類などの理論的性質を導ける。
②情報伝達の効率化を実現する符号化法について具体的に述べ、符号化および復号ができる。
③情報量に関する理論的性質と、具体的な符号の持つ性質とを関連付けることができる。
具体的な目標は各単元ごとに下記に記述する。

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安最低限の到達レベルの目安(可)未到達レベルの目安
評価項目1情報量に関する数学モ デルについて理解し、授 業とは違う条件のもとで モデルの応用を考えるこ とが出来る。 情報伝達の効率化を実 現する符号化法に基づ き、具体例の符号化や復 号の計算が行える。 情報量に関する数学モ デルについて、授業で教 えた数式等の理解が出 来る。 情報量に関する数学モ デルにあてはめて、具体 的な計算を行うことがで きる。 情報量に関する数学モ デルにあてはめて、具体 的な計算を行うことがで きない。
評価項目2平均符号長等の理論的 な判断基準に基づき、複 数の符号化方法につい て比較・検討ができる。 平均符号長などの符号 としての能力を計算でき る。 情報伝達の効率化を実 現する符号化法に基づ き、具体例の符号化や復 号の計算を行うことがで きる。 情報伝達の効率化を実 現する符号化法に基づ き、具体例の符号化や復 号の計算を行うことがで きない。
評価項目3右のレベルに加え、授業 とは違う条件のもとで理 論展開ができる。 情報源の持つエントロ ピーと具体的な符号が持 つ平均符号長との関係 式が記述でき、具体 的な場面における計算を もとに具体例を示すこ とができる。 情報源の持つエントロ ピーと具体的な符号が持 つ平均符号長との関係 式が記述できる。 情報源の持つエントロ ピーと具体的な符号が持 つ平均符号長との関係 式が記述できない。

学科の到達目標項目との関係

JABEE (c) 説明 閉じる
教育目標 (B)① 説明 閉じる

教育方法等

概要:
第1学期開講
第3学期開講の符号理論と対になる科目である。本来は、情報理論ではシャノンの情報量に関する理論を中心とした基礎概念の
理解、符号理論では実際の符号やデータ圧縮の応用を取り扱うべきであるが、必修・選択の関係上、情報理論では情報源
符号化に関する概念および実際の符号を、符号理論では通信路符号化に関する概念および実際の符号を取り扱う。
授業の進め方・方法:
[自学自習プリントについて]
授業の開始時に、自学自習プリントを配布する。プリントに記載されている課題が解ける力を身につけることが、その授業における最
低限の目標である。理解度を確認するための小テストを数回に分けて実施するが、小テストは自学自習プリントの課題に関する理解
度を問うものである。
[小テストの評価について]
小テストは授業開始時に行う。公認以外の遅刻、欠課、欠席等により小テストを受けなかった場合は0点として評価する。公認による
見受験の場合、それ以外の小テストによる評価を行う。
[e-learning用Web資料] WebClassに授業資料を置く。資料の再配布はしないので、適宜ダウンロード、印刷をすること。
注意点:
情報量の定義において対数および確率の概念が出てくるため、基礎事項を復習の上、授業にあたって欲しい。情報理論の諸概念を
理解することと、具体的な計算ができることの双方を目標とする。後者のために実際に手を動かして多くの計算を行いなが
ら、前者の目標達成に努めて欲しい。5年次前期の開講科目であるため、進路活動による欠席が多いことが予想される。従って、一回の講義の進度を早めにし、
復習に時間をかける授業進行を行う予定である。

授業計画

授業内容 週ごとの到達目標
前期
1stQ
1週 情報伝送の基礎知識 情報理論に関する概観について理解する。
2週 情報量 具体的な情報源に対し、エントロピーを求めることがで
きるようになる。
3週 平均情報量
(エントロピー)
具体的な情報源に対し、エントロピーを求めることがで
きるようになる。
4週 さまざまな情報源 ・情報源を適切に分類できる。
・マルコフ情報源の次数を求めることができるようにな
る。
5週 マルコフ情報源の極限分布 マルコフ情報源における状態分布が時間の経過に
よってどのように変化するかを調べ、定常状態に落ち
着く情報源の状態分布(極限分布)を求めることができ
る。
6週 マルコフ情報源の高次エントロピー マルコフ情報源に対し、エントロピーを求めることがで
きる。
7週 中間まとめ 第1回から第6回までの到達目標が達成していること
を試験で示すことが出来る。
8週 情報源符号化 ・与えられた符号を分類できる。
・情報源記号の出現確率分布が与えられたとき、
ハフマン符号およびハフマンブロック符号を求める
ことができる。
2ndQ
9週 ハフマン符号 ・与えられた符号を分類できる。
・情報源記号の出現確率分布が与えられたとき、
ハフマン符号およびハフマンブロック符号を求める
ことができる。
10週 高次情報源 ・与えられた符号を分類できる。
・情報源記号の出現確率分布が与えられたとき、
ハフマン符号およびハフマンブロック符号を求める
ことができる。
11週 ハフマンブロック符号 ・与えられた符号を分類できる。
・情報源記号の出現確率分布が与えられたとき、
ハフマン符号およびハフマンブロック符号を求める
ことができる。
12週 情報源符号化定理 情報限符号化による効率化に理論的な上界がある
ことを学ぶ(情報源符号化定理)。
13週 ファックスのデータ圧縮 ファックス等のデータ圧縮に使われるランレングス符
号化およびMH符号化を、テキストのデータ圧縮に使
われるスライド辞書法および動的辞書法について、実
際のデータの符号化や復号ができるようになる。
14週 テキストのデータ圧縮 ファックス等のデータ圧縮に使われるランレングス符
号化およびMH符号化を、テキストのデータ圧縮に使
われるスライド辞書法および動的辞書法について、実
際のデータの符号化や復号ができるようになる。
15週 定期試験
16週 まとめ

モデルコアカリキュラムの学習内容と到達目標

分類分野学習内容学習内容の到達目標到達レベル授業週

評価割合

試験小テストレポート合計
総合評価割合80155100
知識の基本的な理解 【知識・記憶、理解レベル】 1515030
思考・推論・創造への 適用力 【適用、分析レベル】150015
汎用的技能 【情報収集・活用・発信力】0055
態度・志向性(人間力) 【論理的思考力】 350035
総合的な学習経験と 創造的思考力150015