授業科目

情報理論
Information Theory

担当者

講師   大原 康博
後 土2

単位

2

到達目標

本講義の到達目標は、情報科学科のカリキュラムポリシーに従い、受講生が情報理論のもっとも基本であるC.E.シャノンの理論を理解することを目標とする。具体的には、以下の事項を理解・習得すること、である。本講義では、数学的な基礎知識として、確率論、線形代数を用いるので、これらの科目を履修しておくことが望ましい。代数学(群論等)についても用いるが、最小限度の知識は授業において説明するので事前の履修は必要ない。

(1)確率論的観点から定義される情報量、エントロピーの概念とそれらの意味および計量・計算法
   日常的に使われる「情報」が数学的に定義でき、数量として扱えることを理解する。
(2)情報源および情報源符号化定理の定義とその意味
   情報を発生する源は”情報源”としてモデル化される。
   その情報源の各情報を記号として扱い、それを効率的に符号化する方法に関して一定条件があることを理解する。
   最終的にはその内容を、シャノンが示した「情報源符号化定理」として理解する。
(3)通信路を介した情報の転送の考え方、通信路のモデル、通信路容量の概念
   情報を運ぶ媒体装置を「通信路」としてモデル化されること、通信路で雑音が発生するため情報源から送信される符号
   が受信側で誤って復号される場合があること、この誤り制御に関する量として「通信路容量」があること、などを理解する。   
(4)通信路符号化定理の定義とその意味
   雑音を発生する通信路でも、ある一定条件を満たせば復号誤り率をゼロ近くに抑えられる符号化が存在することを
   シャノンが証明した「通信路符号化定理」について理解する。

授業内容

情報理論は情報科学の最も基本的な理論であり、また同時に現在のコンピュータ、インターネット、デジタル放送、携帯電話などの実用面で多く適用されている実用性の高い学問でもある。情報理論は、情報科学の他の科目を理解するため、更には将来のIT分野への就職活動においても必須の知識といえる。

本講義では、情報理論の基礎であるC.E.シャノン(情報理論の創始者)の理論を中心に、その後発展した誤り訂正符号についても主要範囲をカバーする。理論中心の内容のため、演習を随時入れて理解を深められるようにする。

授業計画

各回の講義内容はおおよそ以下の通りとする。但し、時間の関係で若干前後する場合もある。各回にテキストを配布するが、同じものをdotCampusに掲載するので、第2回以降の各授業において事前の予習を行っていることを前提として講義する。また、各授業で理解度確認のための「理解度テスト」を復習問題として出し、次回の授業で解答・説明する。
予習は毎回の授業につき最低1時間以上、講義全体で14時間以上を取るものとする。
復習は毎回の授業につき最低1.5時間以上、講義全体で21時間以上を取るものとする。、

01.序説
  まずシラバスの記載事項(授業の目的・方法・情報の定義と表現)について確認し、情報理論とはどういうものかを把握する。

02.情報量と情報源(1回目)
  情報理論の基本概念である自己情報量、平均情報量(エントロピー)、情報源アルファベット等について考え方を理解する。

03.情報量と情報源(2回目)
  やや複雑であるが現実的な情報源である、記憶をもつ情報源(マルコフ情報源など)の特徴と性質について理解する。

04.符号の性質
  情報源の符号化・復号化の概念を理解する。特に、2元符号、一意/瞬時復号可能性、復号可能条件(クラフト不等式)など。

05.情報源符号化(1回目)
  最初の到達点である、情報源符号化定理(シャノン第1定理)について理解する。

06.情報源符号化(2回目)
  具体的な符号化の方式、特に最適符号(ハフマン符号、シャノン・ファノ符号)について構成法などを理解する。

07.情報源符号化(3回目)
  歪みを許す情報源符号化として、データ圧縮・非可逆圧縮等について理解する。

08.通信路と相互情報量
  この回から情報を伝達する通信路に着目し、各種通信路(無記憶通信路、2元対称通信路、一様通信路など)、相互情報量等の概念を理解する。

09.通信路符号化
  誤りを生じる通信路において、最終的に誤りをゼロに近づける符号化(通信路符号化)の考え方を通信路容量の概念を通して理解する。これらの結果を集約した2番目の到達点である通信路符号化定理(シャノン第2定理)を理解する。

10.誤り訂正符号(1回目)
  具体的な通信路符号化法としての誤り訂正符号の基本的原理(最小距離、ハミング距離、誤り検出訂正能力)について理解する。

11.誤り訂正符号(2回目)
  最も基本的な誤り訂正符号である、線形符号、パリティ検査符号、ハミング符号などについて理解する。

12.誤り訂正符号(3回目)
  多項式表現を用いて線形符号を代数的に構成する方法を把握し、実用的符号である巡回符号等について理解する。

13.連続的情報源と連続的通信路
  今回からアナログの領域での情報理論を展開する。具体的には、標本化、量子化、連続通信路の通信路容量、標本化定理などについて理解する。

14.連続通信路における符号化
  アナログの領域での通信路符号化定理(信号空間、通信路容量に近づく符号化、変調等)を理解する。

授業運営

1. すべて講義形式で行う。
2. 教科書は特に指定せず講義内容を要約した教材(テキスト)を毎回配布し、それに基づいて講義する。
3. 理解度を確認するため、2~3回のレポート又は小テストを行う。
4. 毎回、予習復習問題の出題、および質問受付を行い、講義終了後または次回講義時に回答する。
5. 講義テキスト、質問回答などの資料は、dotCampus他のネット配布で行う。
  このため学校内外からインターネットアクセス環境をもつことが望ましい。
 
なお、授業中のPC利用は構わない。

評価方法

1. 成績評価は複数回(2~3回)のレポート、小テスト成績の総合評価により判定する。
2. 期末試験は行わない。
3. 出席状況は直接の評価対象としないが、参考として扱う。
4. レポート未提出者、小テスト未受験者は、その回の評価はゼロ点とする。

オフィスアワー

yasu-1948615.k2623@nifty.com
(自宅)

緊急時
yohara26623-1225@docomo.ne.jp
(携帯メール)

携帯電話
090-1664-1300

参考書

宮川 洋『情報理論』[コロナ社(電子情報通信学会講座)]1979年
今井秀樹『情報理論』初版第4刷[昭晃堂]1986年
福村晃夫『情報理論』7版[コロナ社(情報工学講座)]1989年

Copyright© 2017 Kanagawa University. All Rights Reserved.