情報理論

科目基礎情報

学校 旭川工業高等専門学校 開講年度 令和05年度 (2023年度)
授業科目 情報理論
科目番号 0056 科目区分 専門 / 必修
授業形態 講義 単位の種別と単位数 学修単位: 2
開設学科 電気情報工学科 対象学年 5
開設期 前期 週時間数 前期:2
教科書/教材 教科書:「ディジタル情報理論」 塩野 充 著,オーム社 参考書:「はじめての情報理論」小島徹也 著,近代科学社 「基礎から学ぶ情報理論」中村,喜田,湊 共著,ムイスリ出版  「情報理論」 中村聖一 著,近代科学社 など
担当教員 笹岡 久行

到達目標

1.事象の平均情報量を計算することができる。
2.情報源符号化手法を理解し,簡単な情報源において符号化を行うことができる。
3.通信路符号化手法を理解し,簡単な通信路において符号化および復号化ができる。

ルーブリック

理想的な到達レベルの目安標準的な到達レベルの目安未到達レベルの目安
評価項目1平均情報量,結合情報量および相互情報量の計算し,その導出過程を説明することができる。簡単な事象の平均情報量を計算することができる。簡単な事象の平均情報量を計算できない。
評価項目2情報源符号化手法を理解し,拡大情報源において符号化を行うことができる。情報源符号化手法を理解し,簡単な情報源において符号化を行うことができる。情報源符号化手法を用いて符号化を行うことができない。
評価項目3通信路符号化手法を理解し,それを利用した符号化および復号化を行うことができる。通信路符号化手法を説明することができ,簡単な符号化および復号化ができる。通信路符号化手法を説明することができない。

学科の到達目標項目との関係

学習・教育到達度目標 電気情報工学科の教育目標② 説明 閉じる
学習・教育到達度目標 本科の教育目標③ 説明 閉じる

教育方法等

概要:
情報通信やデータ圧縮,さらには現在の社会基盤を支える暗号化技術など情報理論の適用範囲は広い。その基礎理論の修得には確率論および整数論の基礎をよく理解している必要がある。そのため,本科目ではそれらに用いる数学的な基礎について振り返る。その後,情報エントロピーがあらわす意味とその計算方法について学び,符号化および復号化に関する定理やその方法を学ぶ。
授業の進め方・方法:
単に定理や手法の説明に留まらず,各自に演習問題を解いてもらい,知識の定着を目指す。プログラミング言語「Python」を利用した確率や統計についての演習を行う。
注意点:
・総時間数90時間(自学自習60時間)
・自学自習時間(60時間)は,日常の授業(30時間)に対する予習復習,レポート課題の課題作成時間,試験のための学習時間を総合したものとする。
・評価については,合計点数が60点以上で単位修得となる。その場合,各到達目標項目の到達レベルが標準以上であること,教育プログラムの学習・教育到達目標の各項目をみたしたことが認められる。
・授業に出席するだけではなく,授業,教科書や参考書で扱っている演習問題等を積極的に自分の力で解くようにすること。
・単に計算方法を覚えるだけでなく,導出された値がなにを意味しているか深く考察する姿勢が必要である。
・「サイバーセキュリティ人材育成事業(K-SEC)」により設置されたサイバーセキュリティ演習室の設備を使用する。
・「サイバーセキュリティ人材育成事業(K-SEC)」により作成された教育コンテンツ(K-SEC教材)を使用する。

授業の属性・履修上の区分

アクティブラーニング
ICT 利用
遠隔授業対応
実務経験のある教員による授業

授業計画

授業内容 週ごとの到達目標
前期
1stQ
1週 集合
集合の概念を説明できる。集合の演算ができる。
2週 離散型確率の基礎 確率の三公理が説明できる。確率における加法定理および乗法定理が説明できる。条件付き確率を計算することができる。
3週 ベイズの定理 ベイズの定理が説明できる。
4週 確率変数 離散型確率変数における期待値の計算ができる。分散と標準偏差の意味が説明できる。
5週 情報量と平均情報量 自己情報量と平均情報量の意味を説明することができる。
6週 結合エントロピ
条件付きエントロピ
相互情報量
結合エントロピと条件付きエントロピの意味を説明することができる。
相互情報量の意味を説明することができる。
7週 情報源のモデル
次週、中間試験を実施する。
主な情報源のモデルについて説明できる。
8週 中間試験
学んだ知識の確認ができる。
2ndQ
9週 試験答案返却
通信路のモデルと通信路容量
これまで学んできた知識をまとめることができる。
主な通信路のモデルについて説明できる。また,その通信路容量の計算ができる。
10週 符号化の基礎知識 クラフトの不等式が説明できる。符号化効率の評価方法が説明できる。
11週 情報源符号化 1 シャノン・ファイの符号化法が説明できる。
ハフマンの符号化法が説明できる。
12週 情報源符号化 2 n元ハフマン符号の符号化手法が説明できる。拡大情報源におけるハフマン符号による符号化手法が説明できる。
情報源符号化定理が説明できる。
13週 通信路符号化手法 1 通信路符号化定理が説明できる。ハミング距離の計算ができる。誤り検出/訂正の原理が説明できる。長方形符号が説明できる。三角形符号が説明できる。
14週 通信路符号化手法 2 ハミング符号が説明できる。巡回符号が説明できる。
15週 期末試験 学んだ知識の確認ができる。
16週 試験答案返却と解説
情報の表現形式 述語論理
学んだ知識の再確認と修正ができる。述語論理に関する考え方が説明できる。
これまで学んできた情報理論及び離散数学に関する知識をアルゴリズムの設計・解析に利用することができる。

モデルコアカリキュラムの学習内容と到達目標

分類分野学習内容学習内容の到達目標到達レベル授業週
基礎的能力数学数学数学独立試行の確率、余事象の確率、確率の加法定理、排反事象の確率を理解し、簡単な場合について、確率を求めることができる。3前2,前3
条件付き確率、確率の乗法定理、独立事象の確率を理解し、簡単な場合について確率を求めることができる。3前2,前3
1次元のデータを整理して、平均・分散・標準偏差を求めることができる。3前3
専門的能力分野別の専門工学情報系分野情報数学・情報理論離散数学に関する知識をアルゴリズムの設計、解析に利用することができる。2前14
情報量の概念・定義を理解し、実際に計算することができる。2前4,前5,前6,前7
情報源のモデルと情報源符号化について説明できる。2前7,前9,前10,前11
通信路のモデルと通信路符号化について説明できる。2前7,前9,前12,前13
その他の学習内容メディア情報の主要な表現形式や処理技法について説明できる。2前16
ディジタル信号とアナログ信号の特性について説明できる。2前1
情報を離散化する際に必要な技術ならびに生じる現象について説明できる。2前1

評価割合

試験レポート合計
総合評価割合6040100
基礎的能力503585
専門的能力10515
分野横断的能力000