情報理論

科目基礎情報

学校 大分工業高等専門学校 開講年度 令和03年度 (2021年度)
授業科目 情報理論
科目番号 R03S418 科目区分 専門 / 必修
授業形態 授業 単位の種別と単位数 履修単位: 1
開設学科 情報工学科 対象学年 4
開設期 前期 週時間数 2
教科書/教材 横尾英俊,情報理論の基礎,共立出版.
担当教員 徳尾 健司

到達目標

(1) 情報量の概念について理解できる.(定期試験と小テスト)
(2) 情報源符号化について理解できる.(定期試験と小テスト)

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
情報量の概念について理解できる.情報量の概念について,他者に説明できるレベルで理解している.情報量の概念について,講義で取り上げた例題を解くことができる.情報量の概念について,基本的な概念の定義や用語の定義を述べることができない.
情報源符号化について理解できる.情報源符号化について,他者に説明できるレベルで理解している.情報源符号化について,講義で取り上げた例題を解くことができる.情報源符号化について,基本的な概念の定義や用語の定義を述べることができない.

学科の到達目標項目との関係

学習・教育目標 (B2) 説明 閉じる
JABEE 1(2)(g) 説明 閉じる
JABEE 2.1(1)② 説明 閉じる

教育方法等

概要:
情報理論は,電話,ラジオ,テレビ,インターネットなど,現代の情報化社会の発展を支える理論的基盤となっている.情報という抽象概念の本質を数学的にとらえ,情報を効率的かつ正確に伝送するためのしくみについて理解する.

(科目情報)
教育プログラム 第1学年 ◎科目 
授業の進め方・方法:
毎回,授業内容の理解を問う小テストを実施するので,授業を良く聞いて理解に努めること.

(参考図書)
[1] G.A.ジョーンズ他,情報理論と符号理論,丸善出版.
[2] D. W. ハーディ他,応用代数学入門 ― 暗号・符号・バーコードの仕組みが分かる, ピアソンエデュケーション.
[3] 甘利俊一,情報理論,筑摩書房.
[4] 稲井寛,はじめての情報理論,森北出版.

(事前学習)
教科書の該当箇所を読んでおくこと.
注意点:
(履修上の注意)
配布プリントを整理するためのクリアファイル(A4サイズ)を用意すること.

(自学上の注意)
教科書および参考図書の必要箇所を参照して予習・復習を行うこと. [1] は数学的理論を重視した教科書.[2] は符号のトピックが豊富.[3], [4] は比較的わかりやすい. [3] はダイヤモンド社刊の旧版が本校の図書館 (閉架図書の場合は書庫) にある.

評価

(総合評価)
総合評価 = 定期試験 × 0.7 + 小テスト × 0.3

(再試験について)
前期末試験終了後の適切な時期に実施する.受験資格者については試験解説時にアナウンスする.

授業の属性・履修上の区分

アクティブラーニング
ICT 利用
遠隔授業対応
実務経験のある教員による授業

授業計画

授業内容 週ごとの到達目標
前期
1stQ
1週 情報の表現 (1) 情報を表現する方法と関連する具体例について理解する.(2進数 / 対数関数 / アルファベット)
2週 情報の表現 (2) 情報を表現する方法と関連する具体例について理解する.(符号 / 合同演算)
3週 情報量 (1) 情報理論の最も基本的な概念である情報量について理解する.(確率 / 情報量)
4週 情報量 (2) 情報理論の最も基本的な概念である情報量について理解する.(エントロピー / 2元エントロピー関数)
5週 情報量 (3) 情報理論の最も基本的な概念である情報量について理解する.(結合確率 / 条件付確率 / 結合エントロピー / 条件付エントロピー)
6週 情報量 (4) 情報理論の最も基本的な概念である情報量について理解する.(相互情報量 / 相対エントロピー)
7週 復習と応用演習
8週 前期中間試験
2ndQ
9週 前期中間試験の解答と解説
10週 情報源のモデル (1) 確率変数の列としての情報源について理解する.(情報源 / 記憶のない情報源 / Markov情報源 / 定常分布)
11週 情報源のモデル (2) 確率変数の列としての情報源について理解する.(情報源エントロピー / 拡大情報源 / エントロピーのチェイン則)
12週 情報源符号化 (1) 情報源の出力系列を効率的に符号化する方法について理解する.(符号化 / 一意復号可能 / 瞬時符号)
13週 情報源符号化 (2) 情報源の出力系列を効率的に符号化する方法について理解する.(符号の木 / Kraftの不等式 / 最適符号 / 平均符号語長)
14週 情報源符号化 (3) 情報源の出力系列を効率的に符号化する方法について理解する.(エントロピー符号化 / 情報源符号化定理 / Huffman符号)
15週 前期期末試験
16週 前期期末試験の解答と解説

モデルコアカリキュラムの学習内容と到達目標

分類分野学習内容学習内容の到達目標到達レベル授業週
専門的能力分野別の専門工学情報系分野情報数学・情報理論情報量の概念・定義を理解し、実際に計算することができる。4前3,前4,前5,前6,前7
情報源のモデルと情報源符号化について説明できる。4前10,前11,前12,前13,前14,前15,前16

評価割合

試験小テスト合計
総合評価割合7030100
専門的能力7030100