情報源・情報量・エントロピーの解説
1. 情報源とは？
情報源（source）とは、情報を発生する装置や現象のことです。
例：文字列を出力する装置、センサー、通信の送信側など。
2. 情報量の定義
情報量は「どれだけ予想外か」を表します。
よく使われる定義：
$$ I(x) = -\log_2 P(x) $$
（$P(x)$は事象$x$の確率）
予想しにくい（確率が低い）ほど情報量は大きくなります。
3. エントロピーとは？
エントロピーは「情報源が平均してどれだけ情報を生み出すか」を表します。
情報源の不確かさ・多様性の指標です。
$$ H(X) = -\sum_{x} P(x) \log_2 P(x) $$
（$X$は情報源、$P(x)$は各記号の確率）
エントロピーが高いほど、情報源は多様な情報を生み出します。
4. 例と応用
例： コイン投げ（表:1/2, 裏:1/2）
$$ H = -\left( \frac{1}{2} \log_2 \frac{1}{2} + \frac{1}{2} \log_2 \frac{1}{2} \right) = 1 $$
応用： エントロピーはデータ圧縮や通信路設計の理論的限界を示します。
5. 専門的な内容：条件付きエントロピー・相互情報量
条件付きエントロピー： ある情報が分かったときの残りの不確かさ。
$$ H(Y|X) = -\sum_{x,y} P(x,y) \log_2 P(y|x) $$
相互情報量： 2つの情報源がどれだけ関係しているか。
$$ I(X;Y) = \sum_{x,y} P(x,y) \log_2 \frac{P(x,y)}{P(x)P(y)} $$