前のページ 1/1 次のページ

情報源(じょうほうげん)には主に次の2つの意味がある。

・ 情報の提供者、入手元、入手経路、発信源(ソース、英:information source)。参照:史料(英:historical source)、資料(英:source text)。。

・ 情報理論の概念。

ここでは後者の意味について解説する。

----

情報源(じょうほうげん)とはビット列(もしくはより一般になんらかのシンボル(アルファベット)の有限列)が、選ばれるもととなる空間の事。より厳密に言えば、シンボルの有限列全体の空間とその上の確率分布の組のこと。シンボルの有限列はその確率分布に従って選ばれる。

代表的な情報源として次のものがある:

無記憶情報源とは、各シンボルが統計的に独立に発生する情報源である。この種の情報源は、各シンボルの生起確率 $P(s\_1),\; ...,\; P(s\_n)$ が与えられることにより一意に定まる。この情報源のシンボルあたりの平均情報量のことをエントロピーという。エントロピーの最大値は、$\backslash log\_2\; n$ シャノンであり、それは各シンボルの生起確率が等しいとき( $\backslash frac$ ずつのとき)である。

$m$ 重マルコフ情報源とは、各シンボルの生起確率がその直前に生じた $m$ 個のシンボルに依存する、$m$ 重マルコフ過程とみなせる情報源のことである。特に、$m=1$ のとき、単純マルコフ情報源という。

エルゴード情報源とは、エルゴード性を満たす情報源のことである。

前のページ 1/1 次のページ

・情報源 page1