確率で出てくるセミコロン( ; )と縦線(

以前から確率で出てくるセミコロン( ; )と縦線( | )の違い、例えば $p(x ; \theta)$ と $p(x | \theta)$ 、が判らずに悩んでいたので調べた。Cross Validatedの解答によると両者の意味合いに大きな違いはない、で良さそうである。*1 ただし $p(x ; \theta)$ は $\theta$ というパラメータが与えられた下での $p(x)$ の評価値、 $p(x | \theta)$ は $\theta$ という条件が与えられた下での $p(x)$ の評価値、と言う微妙な違いが有るらしい。*2 恐らくは歴史的な背景によるものだろうが詳しくはわからなかった。

だから、データ $x$ が与えられた時の $\theta$ の確率は $p(\theta | x)$ と書けるが、 $x$ はパラメータでは無いので $p( \theta; x)$ とは書けない。逆に、パラメータ $\theta$ が与えられた時の $x$ の確率は $p(x ; \theta)$ とも書けるし、
条件 $\theta$ が与えられた下での $x$ の確率と見做して $p(x | \theta)$ とも書けるということだろう。