🔥虚無との戦い

🎓情報理論

9 min read

🪨情報理論とは

Infomation Theory. 情報とは何かを定義し、より良い扱い方を考える学問.

📝統計学と📝確率論を基礎とする.

わたしの卒業研究テーマはこれ, 🔵卒業研究で情報理論を専攻(2009/04).

情報理論サブジャンル

影響先

情報理論三羽カラス

🪨情報理論の基礎概念

📝情報量

自己情報量. 情報の尺度を定義したもの.

ある事象が発生したときに得られる情報の多さを数学的に定義した.

💻ビット/bit

📏情報エントロピー

シャノンエントロピーとも.

📝情報量の📝期待値.

不確実性の尺度. エンドロピーが増大すると乱雑さが上がる.

怪しい情報ビジネスでエンドロピーがあがるという言葉があるが, たんに複雑になるということをシッタカ表現しているにすぎない.

cf. 🔥熱力学エントロピー

📝カルバック・ライブラー情報量

相対エントロピー

  • 二つの確率分布の差異を測る尺度.
  • 確率分布どうしの近さ.
  • 2つの分布 P と Q がどれだけ違うか

いろんな名前がある.

  • 相対エントロピー
  • KLダイバージェンス

📡相互情報量

2つの確率変数の相互依存の尺度.

交差エントロピー

結合エントロピー

結合エントロピー - Wikipedia

📝符号理論

卒業研究分野.

📝符号化(encode)

エンコード.

アナログ信号やデジタルデータに特定の方法で、後に元の（あるいは類似の）信号またはデータに戻せるような変換を加えること.

🧠記銘/Encoding

📝復号(decode)

デコードdecode. 📝符号化(encode)の逆.

📝情報圧縮

与えられたデータをより短い表現に📝符号化(encode)すること.

📝量子化

quantization. 低精度離散値への数値変換.

データ圧縮規格

Category:データ圧縮規格 - Wikipedia

📝誤り検出訂正

リード・ソロモン符号

🧮ガロア体

Topics

🔦情報理論研究は理論的限界をモデル化して突き詰めていくようなスポーツの楽しさがある - 松嶋敏泰

情報理論研究は,

  • モデルをつくって限界値を導出する
  • 理論限界を達成するためのアルゴリズムを導出する

どちらもスポーツのような楽しさがある.

ref. 特集 Feature Vol.22-1　情報理論とデータサイエンス（全3回配信） – 早稲田大学 研究活動

🔦情報理論は情報とはなにかを突き詰める学問 - 松嶋敏泰

情報理論というと, 圧縮技術や誤り訂正技術のような工学の応用を支える理論的なものがある.

しかし, 工学的側面とは別に, 情報とはなにか？というものを追求する学問でもある.

それは物質とはなにか？というような物理学の対概念ようにして, 情報とはなにかを追求する.

ref. 特集 Feature Vol.22-2　情報理論とデータサイエンス（全3回配信） – 早稲田大学 研究活動

cf. 🔦情報理論研究は理論的限界をモデル化して突き詰めていくようなスポーツの楽しさがある - 松嶋敏泰

Insights

✨ChatGPTの生成テキストの意味が多様とは情報エントロピーが高く正確とはエントロピーが低い

ChatGPTの生成する単語とテキストは, 情報理論における情報量と情報エントロピー.

ChatGPTの生成するテキストの品質の尺度が情報エントロピーとなる. テキストの意味が多様とは情報エントロピーが高く正確とはエントロピーが低い.

👨クロード・シャノン

情報理論の父. 👨エドワード・ソープと一緒にルーレットをハック.

🗒A Mathematical Theory of Communication - C.E.Shannon(1948)

通信の数学的理論.

“A Mathematical Theory of Communication”, C. E. Shannon, The Bell Sytem Technical Journal 1948

情報理論をうちたてた論文。学生時代に読んだ.

https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf

💡シャノン=ウィーヴァーの通信モデル

References

👨ヨビノリ

🔖Youtuber

専攻が物理学と情報理論!

📚Element of Information Theory - Thomas.M.Cover(2006)

情報理論のバイブル. 日本語訳は2012に発売.

卒検で輪読した気がした. 🔵卒業研究で情報理論を専攻(2009/04).

関連分野

やはり工学への応用がきになる.

熱力学にもエントロピーはでてくる.

🦊情報理論 with me

私の大学の専攻なのでちょっとガチった気がしたけど忘れた.

グラフビュー

バックリンク

Recents