🎓情報理論

🪨情報理論とは

Infomation Theory. 情報とは何かを定義し、より良い扱い方を考える学問.

📝統計学と📝確率論を基礎とする.

わたしの卒業研究テーマはこれ, 🔵卒業研究で情報理論を専攻(2009/04).

情報理論サブジャンル

📝符号理論
- 📝情報圧縮
- 📝誤り検出訂正
📝暗号理論

🪨情報理論の基礎概念

📝情報量

自己情報量. 情報の尺度を定義したもの.

ある事象が発生したときに得られる情報の多さを数学的に定義した.

📝情報エントロピー

シャノンエントロピーとも.

📝情報量の📝期待値.

不確実性の尺度. エンドロピーが増大すると乱雑さが上がる.

怪しい情報ビジネスでエンドロピーがあがるという言葉があるが, たんに複雑になるということをシッタカ表現しているにすぎない.

📝相対エントロピー

二つの確率分布の差異を測る尺度.

カルバック・ライブラー情報量
相対エントロピー
KLダイバージェンス

相互情報量

交差エントロピー

結合エントロピー

結合エントロピー - Wikipedia

📝符号理論

卒業研究分野.

📝符号化(encode)

エンコード.

アナログ信号やデジタルデータに特定の方法で、後に元の（あるいは類似の）信号またはデータに戻せるような変換を加えること.

🧠記銘/Encoding

📝復号(decode)

デコードdecode. 📝符号化(encode)の逆.

📝情報圧縮

与えられたデータをより短い表現に📝符号化(encode)すること.

🎵音声データ
📝言語モデルとは言語の可逆データ圧縮.

📝量子化

quantization. 低精度離散値への数値変換.

データ圧縮規格

ZIP
Zstandard(zst): zipよりも高速. 2009に登場. 可逆.
- https://ja.wikipedia.org/wiki/Zstandard

Category:データ圧縮規格 - Wikipedia

📝誤り検出訂正

卒論はこれ.
誤り検出訂正 - Wikipedia

Topics

🔦情報理論研究は理論的限界をモデル化して突き詰めていくようなスポーツの楽しさがある - 松嶋敏泰

情報理論研究は,

モデルをつくって限界値を導出する
理論限界を達成するためのアルゴリズムを導出する

どちらもスポーツのような楽しさがある.

ref. 特集 Feature Vol.22-1　情報理論とデータサイエンス（全3回配信） – 早稲田大学研究活動

🔦情報理論は情報とはなにかを突き詰める学問 - 松嶋敏泰

情報理論というと, 圧縮技術や誤り訂正技術のような工学の応用を支える理論的なものがある.

しかし, 工学的側面とは別に, 情報とはなにか？というものを追求する学問でもある.

それは物質とはなにか？というような物理学の対概念ようにして, 情報とはなにかを追求する.

ref. 特集 Feature Vol.22-2　情報理論とデータサイエンス（全3回配信） – 早稲田大学研究活動

cf. 🔦情報理論研究は理論的限界をモデル化して突き詰めていくようなスポーツの楽しさがある - 松嶋敏泰

Insights

✨ChatGPTの生成テキストの意味が多様とは情報エントロピーが高く正確とはエントロピーが低い

ChatGPTの生成する単語とテキストは, 情報理論における情報量と情報エントロピー.

ChatGPTの生成するテキストの品質の尺度が情報エントロピーとなる. テキストの意味が多様とは情報エントロピーが高く正確とはエントロピーが低い.

References

「晩ごはんはカレー」を極限まで短くすると、“沈黙”になる【情報理論1】#9 - YouTube, ゆるコンピュータ科学らじおの堀元氏も専攻は情報理論.

👨クロード・シャノン

情報理論の父. 👨エドワード・ソープと一緒にルーレットをハック.

🎴シャノンの悪魔, ポートフォリオ投資手法.
📕金融工学の父エドソープ/情報理論の父シャノンのタッグでカジノをハッキング！

🗒A Mathematical Theory of Communication - C. E. Shannon(1948)

通信の数学的理論.

“A Mathematical Theory of Communication”, C. E. Shannon, The Bell Sytem Technical Journal 1948

情報理論をうちたてた論文。学生時代に読んだ.

https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf

💡シャノン/ウィーヴァーのコミュニケーションモデル

数学的な通信の概念をより抽象化したことで、このモデルを元に言語学や記号論へ.

レベルＡ．通信において、記号をどのくらい正確に伝えることができるのか。（技術的な問題）
レベルＢ．送信された記号は、どのくらい正確に所望の意図を伝えることができるのか。（意味的な問題）
レベルＣ．受信された意図は、どのくらい効果的に所望する行為に影響するのか。（効果の問題）

ref. 第4回コミュニケーションが作る社会システム｜「理論」と「実践」の接続｜Link and Motivation Inc.

👨ヨビノリ

🔖Youtuber

専攻が物理学と情報理論!

確率論の歴史【QK×はなでん×ヨビノリ】 - YouTube: 情報理論は55分過ぎから.

📚Element of Information Theory - Thomas.M.Cover(2006)

https://www.amazon.co.jp/dp/432012300X/

情報理論のバイブル. 日本語訳は2012に発売.

卒検で輪読した気がした. 🔵卒業研究で情報理論を専攻(2009/04).

up: 📂応用数学
📝確率論

🦊情報理論 with me

私の大学の専攻なのでちょっとガチった気がしたけど忘れた.

🔥虚無との戦い

エクスプローラー