情報理論

科目基礎情報

学校 徳山工業高等専門学校 開講年度 2017
授業科目 情報理論
科目番号 0118 科目区分 専門 / 必修
授業形態 講義 単位の種別と単位数 学修単位: 2
開設学科 情報電子工学科 対象学年 4
開設期 通年 週時間数 1
教科書/教材 教科書、三木成彦・吉川英機共著「情報理論」(コロナ社)
担当教員 小林 明伸

到達目標

情報量の概念、情報の発生と伝達、符号化、についての内容を理解する。

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
情報量情報量に関する数学モ デルについて理解し、授 業とは違う条件のもとで モデルの応用を考えるこ とが出来る。 情報伝達の効率化を実 現する符号化法に基づ き、具体例の符号化や復 号の計算が行える。 情報量に関する数学モ デルについて、授業で教 えた数式等の理解が出 来る。 情報量に関する数学モ デルにあてはめて、具体 的な計算を行うことがで きない。
符号化法平均符号長等の理論的 な判断基準に基づき、複 数の符号化方法につい て比較・検討ができる。 平均符号長などの符号 としての能力を計算でき る。 情報伝達の効率化を実 現する符号化法に基づ き、具体例の符号化や復 号の計算を行うことがで きない。
エントロピー授業 とは違う条件のもとで理 論展開ができる。 情報源の持つエントロ ピーと具体的な符号が持 つ平均符号長との関係 式が記述でき、具体 的な場面における計算を もとに具体事例を示すこ とができる。 情報源の持つエントロ ピーと具体的な符号が持 つ平均符号長との関係 式が記述できない。

学科の到達目標項目との関係

JABEE d-1 説明 閉じる
到達目標 A 1 説明 閉じる

教育方法等

概要:
情報とは何かという根源的な問題から出発して、その発生と伝達についての体系的な見方を習得させ、通信分野の工学的応用につながる基礎知識を養う。主な内容は、情報量、情報の発生と伝達、符号化、である。
授業の進め方・方法:
座学の講義を基本とし、適宜巻末の練習問題の演習を行い、理解度を測りながら講義を進める。
授業内容を理解するために予習復習を必ずしてください。
注意点:

授業計画

授業内容 週ごとの到達目標
前期
1stQ
1週 情報理論とは 情報理論の位置付けを理解し、情報が事象を写し取った記号であることを認識する。
2週 通信システムのモデル 通信の基本的なしくみを解説し、不可欠なものは何かを考える。
3週 標本化定理と量子化 情報のデジタル化に必要な、標本化、量子化の意味を解説する。
4週 集合、試行 集合、試行 情報理論を理解するうえで必要最小限の確率論の基礎を学ぶ。
5週 確率、平均と分散 確率、確率変数、平均、分散、偏差などの用語の意味を理解させる
6週 条件付確率 条件付確率、独立、従属、結合確率などの概念を理解させる。
7週 マルコフ過程、ベイズの定理 マルコフ過程、遷移確率、シャノン線図について学ぶ。
8週 中間試験 情報量の意味、確率論の基礎知識の理解度を測る。
2ndQ
9週 情報源のモデル 情報源は、記号と置き換えて考えることを理解させる。
10週 エントロピー、情報量 情報量の定義、平均情報量(エントロピー)の定義を理解させる。
11週 平均符号長 符号語の長さ、平均符号長の概念を学ぶ。
12週 情報源符号化定理 符号化の方法を学ぶ。
13週 ハフマン符号、ランレングス符号 情報源符号化の実現方法、ハフマン符号、ランレングス符号について学ぶ。
14週 算術符号、ZL符号 情報源符号化の実現方法、算術符号、ZL符号について学ぶ。
15週 期末試験 情報源の意味、符号化の方法について理解度を測る。
16週 答案返却など 前期末試験の解説をする。
後期
3rdQ
1週 結合エントロピー 結合エントロピーについて学ぶ。
2週 条件付エントロピー 条件付エントロピーについて学ぶ。
3週 相互情報量 各種エントロピーの関係について検討し、相互情報量に対する理解を深める。
4週 マルコフ情報源のエントロピー マルコフ情報源のエルゴード性を理解し、定常確率などの知識を深める。
5週 通信路のモデル 通信路のモデルについて基本知識を学ぶ。
6週 通信路容量 通信路容量、通信路行列について学ぶ。
7週 平均誤り率、通信路符号化定理 通信路は通常雑音などの誤りが生じることを前提に、符号化による誤りを少なくする方法について学ぶ。
8週 中間試験 情報の伝達の基本である符号化の意味と、情報伝送技術における符号化に関する知識を測る。
4thQ
9週 誤り検出と訂正の理論 誤り検出、訂正符号の概念を理解し、符号を構成するために必要な理論を学ぶ。
10週 パリティ検査符号 パリティ検査符号について学ぶ。
11週 線形符号、ハミング符号 線形符号、パリティ検査行列について学ぶ。
12週 巡回符号、 巡回符号の定義、多項式の四則演算を学ぶ。
13週 多項式とベクトル 巡回符号は多項式表現を用いると符号化や誤り検出の計算が行いやすいことを学ぶ。
14週 演習 線形符号、巡回符号、巡回ハミング符号など演習を行う。
15週 期末試験 符号に関する理論全般について概念を習得できているかを試験する。
16週 答案返却など 学年末試験の解説をする。1

モデルコアカリキュラムの学習内容と到達目標

分類分野学習内容学習内容の到達目標到達レベル授業週
専門的能力分野別の専門工学情報系分野情報数学・情報理論集合に関する基本的な概念を理解し、集合演算を実行できる。3
集合の間の関係(関数)に関する基本的な概念を説明できる。2
ブール代数に関する基本的な概念を説明できる。2
論理代数と述語論理に関する基本的な概念を説明できる。4
離散数学に関する知識をアルゴリズムの設計、解析に利用することができる。4

評価割合

試験発表相互評価態度ポートフォリオその他合計
総合評価割合10000000100
基礎的能力0000000
専門的能力10000000100
分野横断的能力0000000