画像・音処理論

科目基礎情報

学校	熊本高等専門学校	開講年度	令和06年度 (2024年度)
授業科目	画像・音処理論
科目番号	HI1511	科目区分	専門 / 選択
授業形態	授業	単位の種別と単位数	学修単位: 2
開設学科	人間情報システム工学科	対象学年	5
開設期	通年	週時間数	1
教科書/教材	伊藤 克亘、花泉 弘、小泉 悠馬、「Pythonで学ぶ実践画像・音声処理入門」、コロナ社
担当教員	藤井 慶

到達目標

1. 画像処理技術の各手法について理解し 実践できる。
2. 音処理技術の各手法について理解し実践できる。
3. 画像・音について周波数領域で捉える概念を理解し説明できる。

ルーブリック

	理想的な到達レベルの目安	標準的な到達レベルの目安	未到達レベルの目安
画像処理技術	画像処理の主要アルゴリズムを理解し適切に利用でき、応用できる．	画像処理の主要アルゴリズムを理解し適切に利用できる．	画像処理の主要アルゴリズムを理解できず利用できない．
音処理技術	音処理の主要アルゴリズムを理解し適切に利用でき、応用できる．	音処理の主要アルゴリズムを理解し適切に利用できる．	音処理の主要アルゴリズムを理解できず利用できない．
周波数領域処理	画像・音について周波数領域で捉える概念を理解し、変換でき、応用できる。	画像・音について周波数領域で捉える概念を理解し、変換できる。	画像・音について周波数領域で捉える概念を理解できず、変換できない。

教育方法等

概要:

視覚・聴覚の情報技術である画像処理と音処理について、その基礎理論を学習する．画像・音声いずれの処理においても情報抽出とその応用、加工に関する技術について主に学ぶ。各処理を実装する際には主にPythonを用いるが、ProcessingやGIMPなどのソフトウェアや言語も適宜利用する。

授業の進め方・方法:

座学と演習を通して画像処理や音処理についての知識技術を習得し、筆記試験と演習課題の評価で理解度を確認する。基本的には教科書に沿って学習を進めるが、状況に応じて順序が変わったり教科書に含まれない事項の学習を取り上げる場合がある。

注意点:

・評点の高くない学生に対して別途課題を課したり再評価試験等を行う場合がある．
・本科目は2単位の科目であり、規定授業時数は60時間である．自学自習の時間(年間に30時間)では、一般的な予習・復習・試験勉強に加え、各単元の課題レポート作成などが求められる．

授業の属性・履修上の区分

ICT 利用

授業計画

		週	授業内容	週ごとの到達目標
前期
	1stQ
		1週	ガイダンス 画像・音処理の基礎(1)	画像・音処理の基本的な流れ（入力、加工、出力）を理解できる。
		2週	画像・音処理の基礎(2)	画像・音処理の基本的な流れ（入力、加工、出力）を理解できる。
		3週	画像・音処理の基礎(3)	画像・音処理の基本的な流れ（入力、加工、出力）を理解できる。
		4週	音声のフーリエ変換(1)	フーリエ変換の基礎を理解し、音信号に適用できる。ナイキスト周波数、周波数分解能、振幅と位相、窓関数、フーリエ逆変換の概念について説明できる。
		5週	音声のフーリエ変換(2)	フーリエ変換の基礎を理解し、音信号に適用できる。ナイキスト周波数、周波数分解能、振幅と位相、窓関数、フーリエ逆変換の概念について説明できる。
		6週	音声のフーリエ変換(3)	フーリエ変換の基礎を理解し、音信号に適用できる。ナイキスト周波数、周波数分解能、振幅と位相、窓関数、フーリエ逆変換の各概念について説明できる。
		7週	線形フィルタ(1)	移動平均フィルタ、インパルス応答、周波数応答、IIRフィルタ、ローパスフィルタの各概念について説明でき、利用できる。
		8週	線形フィルタ(2)	移動平均フィルタ、インパルス応答、周波数応答、IIRフィルタ、ローパスフィルタの各概念について説明でき、利用できる。
	2ndQ
		9週	画像の周波数領域処理(1)	空間周波数、画像の直流成分について説明できる。画像を2次元フーリエ変換できる。
		10週	画像の周波数領域処理(2)	空間周波数、画像の直流成分について説明できる。画像を2次元フーリエ変換できる。
		11週	画像の空間領域処理(1)	画像に2次元畳み込みを行える。画像信号を微分してエッジ検出できる。
		12週	画像の空間領域処理(2)	画像に2次元畳み込みを行える。画像信号を微分してエッジ検出できる。
		13週	音声の相関(1)	音声から相互相関および自己相関を取ることができる。
		14週	音声の相関(2)	音声から相互相関および自己相関を取ることができる。
		15週	定期試験	これまで学習した事柄についての理解が定着できている．
		16週	答案返却
後期
	3rdQ
		1週	画像の類似度(1)	画像からユークリッド距離および相互相関を取ることができる。
		2週	画像の類似度(2)	画像からユークリッド距離および相互相関を取ることができる。
		3週	複素信号(1)	音声を複素信号で表現し、周波数変調してビブラート生成できる。
		4週	複素信号(2)	音声を複素信号で表現し、周波数変調してビブラート生成できる。
		5週	画像の幾何学的処理(1)	画像を回転、平行移動、拡大縮小、アフィン変換する仕組みを理解し、利用できる。
		6週	画像の幾何学的処理(2)	画像を回転、平行移動、拡大縮小、アフィン変換する仕組みを理解し、利用できる。
		7週	特徴抽出と分類(1)	音声からスペクトログラム、ゼロクロス、MFCC、韻律特徴量を抽出し、観察することができる。k近傍識別、最尤法について説明できる。
		8週	特徴抽出と分類(2)	音声からスペクトログラム、ゼロクロス、MFCC、韻律特徴量を抽出し、観察することができる。k近傍識別、最尤法について説明できる。
	4thQ
		9週	特徴抽出と分類(3)	音声からスペクトログラム、ゼロクロス、MFCC、韻律特徴量を抽出し、観察することができる。k近傍識別、最尤法について説明できる。
		10週	特徴抽出と分類(4)	音声からスペクトログラム、ゼロクロス、MFCC、韻律特徴量を抽出し、観察することができる。k近傍識別、最尤法について説明できる。
		11週	音声・画像処理の応用(1)	ADSRエンベロープおよびwavetable方式により楽音合成できる。k平均法によるクラスタリングを行える。
		12週	音声・画像処理の応用(2)	ADSRエンベロープおよびwavetable方式により楽音合成できる。k平均法によるクラスタリングを行える。
		13週	音声・画像処理の応用(3)	ADSRエンベロープおよびwavetable方式により楽音合成できる。k平均法によるクラスタリングを行える。
		14週	音声・画像処理の応用(4)	ADSRエンベロープおよびwavetable方式により楽音合成できる。k平均法によるクラスタリングを行える。
		15週	定期試験	これまで学習した事柄についての理解が定着できている．
		16週	答案返却

評価割合

	レポート（小テスト含む）	合計
総合評価割合	100	100
基礎的能力	50	50
専門的能力	50	50
分野横断的能力	0	0