情報理論

科目基礎情報

学校 明石工業高等専門学校 開講年度 令和03年度 (2021年度)
授業科目 情報理論
科目番号 0048 科目区分 専門 / 選択
授業形態 講義 単位の種別と単位数 履修単位: 1
開設学科 電気情報工学科(電気電子工学コース) 対象学年 5
開設期 前期 週時間数 2
教科書/教材 使用しない(適宜資料を配布する)。
担当教員 中井 優一

目的・到達目標

(1) 情報の量はどのように定義されるか、またその妥当性はどう保証されるかを理解する。
(2) 様々な情報源の定義、各々の情報源のエントロピーの意味を理解し、それを導出できる。
(3) 符号の種類と符号が満たすべき条件を理解し、平均符号長とその限界を導出できる。
(4) Shannonの第一定理とその意義を理解する。
(5)通信路とは何でありどのような種類があるか。またどのような形式で表現できるのかを理解する。
(6)Shannonの第二定理の意義を理解する。

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
評価項目1情報の量はどのように定義されるか、またその妥当性はどう保証されるかを的確に説明できる。情報の量はどのように定義されるか、またその妥当性はどう保証されるかを説明できる。情報の量はどのように定義されるか、またその妥当性はどう保証されるかを説明できない。
評価項目2様々な情報源の定義、各々の情報源のエントロピーの意味を理解し、それを的確に導出できる。様々な情報源の定義、各々の情報源のエントロピーの意味を理解し、それを導出できる。様々な情報源の定義、各々の情報源のエントロピーの意味を理解できない。
評価項目3 符号の種類と符号が満たすべき条件を理解し、平均符号長とその限界を的確に導出できる。 符号の種類と符号が満たすべき条件を理解し、平均符号長とその限界を導出できる。符号の種類と符号が満たすべき条件、平均符号長とその限界を理解できない。
評価項目4Shannonの第一定理とその意義を的確に説明できる。Shannonの第一定理とその意義を説明できる。Shannonの第一定理とその意義を説明できない。
評価項目5通信路とは何でありどのような種類があるか、またどのような形式で表現できるのかを具体的に説明できる。通信路とは何でありどのような種類があるか、またどのような形式で表現できるのかを説明できる。通信路とは何でありどのような種類があるか、またどのような形式で表現できるのかを説明できない。
評価項目6Shannonの第二定理の意義を的確に説明できる。Shannonの第二定理の意義を説明できる。Shannonの第二定理の意義を説明できない。

学科の到達目標項目との関係

学習・教育到達度目標 (D) 説明 閉じる
学習・教育到達度目標 (H) 説明 閉じる

教育方法等

概要:
C.E. Shannonを創始者とする情報理論における成果は現代生活においてなくてはならないものとなっている。本講義では通信システムにおいて、情報を「速く」かつ「正確に」伝送するために必要な知識について説明する。前半では情報の定量化から始まりShannonの第一定理までを説明する。後半は通信路の定義から始まりShannonの第二定理について述べる。
授業の進め方と授業内容・方法:
スライドを用いた講義形式で授業を行う。練習問題を課すので、自分の理解の程度を確認するために積極的に取り組むこと。
注意点:
確率、統計の知識を前提で講義を行うのでこれらの事項に関してよく理解しておくこと。
合格の対象としない欠席条件(割合) 1/3以上の欠課

授業の属性・履修上の区分

アクティブラーニング
ICT 利用
遠隔授業対応
実務経験のある教員による授業

授業計画

授業内容・方法 週ごとの到達目標
前期
1stQ
1週 通信システムのモデル
情報理論で想定する通信システムのモデルについて説明し、情報の定量化ができる。
2週 無記憶情報源とエントロピー
最も単純な情報源である無記憶情報源の説明と情報源の内部構造を探る手がかりとなるエントピーについて説明できる。
3週 マルコフ情報源とエントロピー
現実の情報源により近いマルコフ情報源の説明とそのエントロピーの導出ができる。
4週 符号とは
符号の定義を行い、符号が満たすべきいくつかの条件について説明できる。平均符号長の定義と瞬時に復号可能な符号の平均符号長の限界について説明できる。
5週 Shannonの第一定理
Shannonの第一定理の式とその意義についての説明できる。
6週 Huffman符号
コンパクト符号を構成できる符号化法としてHuffman符号を構成できる。
7週 通信路
通信路の定義、その表現方法について説明できる。
8週 中間試験
2ndQ
9週 相互情報量
通信路を介して伝送される情報について定義される相互情報量について説明できる。
10週 様々な通信路
雑音のない通信路、確定的通信路、通信路の縦続接続および縮退通信路について説明できる。
11週 通信路容量
相互情報量の考察から導かれる通信路容量の定義を説明できる。
12週 通信路の信頼性向上
通信路を介しての情報伝送において信頼性を向上させる方法について説明できる。
13週 誤り率と判定規則
通信路における誤り率を小さくするための判定規則について説明できる。
14週 Shannonの第二定理
二元対称通信路に対するShannonの第二定理を説明できる。
15週 通信路符号化
いくつかの通信路符号化について、その原理を説明できる。
16週 期末試験

モデルコアカリキュラムの学習内容と到達目標

分類分野学習内容学習内容の到達目標到達レベル授業週

評価割合

試験発表相互評価態度ポートフォリオその他合計
総合評価割合10000000100
基礎的能力0000000
専門的能力10000000100
分野横断的能力0000000