情報理論

科目基礎情報

学校 熊本高等専門学校 開講年度 令和03年度 (2021年度)
授業科目 情報理論
科目番号 HI1504 科目区分 専門 / 必修
授業形態 授業 単位の種別と単位数 学修単位: 2
開設学科 人間情報システム工学科 対象学年 5
開設期 通年 週時間数 1
教科書/教材 はじめての情報理論 稲井寛 森北出版株式会社
担当教員 中野 光臣

到達目標

・エントロピー,相互情報量などの情報理論的な意味を理解できる.
・情報源が持つ情報量を理解しできる.
・通信路容量の定義を理解できる.
・情報源と情報源符号化について理解できる.
・誤り検出と誤り訂正符号の基本原理を理解できる.

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
情報と情報理論エントロピー,相互情報量などの情報理論的な意味を理解し説明できる.エントロピー,相互情報量などの情報理論的な意味を理解できる.エントロピー,相互情報量などの情報理論的な意味を理解できない.
情報量 情報源が持つ情報量を理解し,計算できる. 通信路容量の定義を理解し,簡単な通信路に対して実際に通信路容量を求めることができる.情報源が持つ情報量を理解できる. 通信路容量の定義を理解できる.情報源が持つ情報量を理解できない. 通信路容量の定義を理解できない.
情報源と情報源符号化情報源と情報源符号化について理解し説明できる.情報源と情報源符号化について理解できる.情報源と情報源符号化について理解できない.
通信路と通信路符号化誤り検出と誤り訂正符号の基本原理を理解し説明できる.誤り検出と誤り訂正符号の基本原理を理解できる.誤り検出と誤り訂正符号の基本原理を理解できない.

学科の到達目標項目との関係

教育方法等

概要:
情報化社会の基礎となる通信の基礎理論を,数学を用いて解説を行う.主なテーマはシャノンの通信モデルを理解し,情報量の定義を行う.通信モデルにおいて,情報源のモデルと情報源符号化,通信路のモデルと通信路容量,通信路符号化について学ぶ.また,それらについて身近なテーマに関連させながら講義を進める.
授業の進め方・方法:
本科目は,教科書を用いた講義を中心に行う.
情報量の定義,概念について理解する.情報源が持つ情報量を理解し,その情報量を計算することができる.通信路が持つ通信容量の意味を理解する.誤り検出,訂正の原理について,いくつかの例をもとに誤り訂正符号,誤り検出の具体例を理解する.
本講義を通じて,情報理論とディジタル信号処理のための基礎能力を身につけることができる.
注意点:
規定授業時数は60時間である.
本科目は90分の授業に対して,放課後・家庭で90分程度の自学学習を課す.

授業の属性・履修上の区分

アクティブラーニング
ICT 利用
遠隔授業対応
実務経験のある教員による授業

授業計画

授業内容 週ごとの到達目標
前期
1stQ
1週 ガイダンス,情報と情報理論 情報と情報理論の基礎を理解する
2週 通信のモデル化 通信路のモデル化について理解する
3週 確率(期待値),確率(同時確率),確率(条件付き確率) 確率について理解する
4週 情報量 情報量の基礎を理解する
5週 情報量とエントロピー 情報量とエントロピーについて理解する
6週 結合事象のエントロピー 結合事象のエントロピーを計算し説明できる
7週 条件付きエントロピー 条件付きエントロピーについて理解し計算できる
8週 中間試験
2ndQ
9週 相互情報量 相互情報量について理解し計算できる
10週 情報源の基礎 情報源について理解し説明できる
11週 情報源の基礎 情報源について理解し説明できる
12週 マルコフ情報源 マルコフ情報源について理解し説明できる
13週 マルコフ情報源 マルコフ情報源について理解し説明できる
14週 情報源符号化 情報源符号化について理解する
15週 定期試験
16週 答案返却
後期
3rdQ
1週 情報源符号化 情報源符号化について理解する
2週 情報源符号化(2分木) 2分木を使った符号化について理解し説明できる
3週 情報源符号化(ファノ符号) ファノ符号化を計算し説明できる
4週 情報源符号化(ハフマン符号) ハフマン符号化を計算し説明できる
5週 通信路 通信路の基礎を理解し説明できる
6週 通信路容量 通信路容量を計算し説明できる
7週 通信路容量 通信路容量を計算し説明できる
8週 中間試験
4thQ
9週 通信路符号化 通信路符号化について説明できる
10週 通信路符号化(パリティ検査符号) パリティ検査符号について理解できる
11週 通信路符号化(ハミング符号) ハミング符号について理解できる
12週 通信路符号化(線形符号) 線形符号を計算し説明できる
13週 通信路符号化(巡回符号) 巡回符号について理解できる
14週 通信路符号化(巡回符号) 巡回符号を計算し説明できる
15週 定期試験
16週 答案返却

モデルコアカリキュラムの学習内容と到達目標

分類分野学習内容学習内容の到達目標到達レベル授業週
専門的能力分野別の専門工学情報系分野情報数学・情報理論情報量の概念・定義を理解し、実際に計算することができる。4前1,前2,前4,前5,前6,前7,前9
情報源のモデルと情報源符号化について説明できる。4前10,前11,前12,前13,前14,後1,後2,後3,後4
通信路のモデルと通信路符号化について説明できる。4後5,後6,後7,後9,後10,後11,後12,後13,後14

評価割合

試験課題合計
総合評価割合7030100
基礎的能力000
専門的能力7030100
分野横断的能力000