Joint Probability - 联合概率

随机向量（Random Vector）：n 元随机向量 (X_{1},X_{2},\dots{},X_n)，就是一个函数
\Omega \to{}\mathbb{R}^{n}
\omega \in \Omega \mapsto{}(X_{1}(\omega ),X_{2}(\omega ),\dots{},X_n(\omega ))
对于随机向量，它有：

• Joint CDF / PMF / PDF;
• Marginal CDF / PMF / PDF;
• Conditional PMF / PDF

Joint CDF / PMF / PDF

Joint CDF: 二元随机向量 (X,Y) 的 CDF 定义为
F(x,y)=P(X\leq{}x,Y\leq{}y )
这就叫 X 和 Y 的 joint CDF。这里可以用它来计算一个区域内的概率：
P\{ x_{1}<X\leq{}x_{2},y_{1}<Y\leq{}y_{2} \}=F(x_{2},y_{2})-F(x_{1},y_{2})-F(x_{2},y_{1})+F(x_{1},y_{1})

Marginal CDF: 若 F(x,y) 是 (X,Y) 的 joint CDF，我们说 X,Y 的 marginal CDF 是
F_{X}(x)=F(x,\infty ), F_Y(y)=F(\infty ,y)

对于离散随机向量，joint PMF：
p_{ij}\triangleq{}p(x_{i},y_{j})=P(X=x_{i},Y=y_{j})
X,Y 的 marginal PMF：
p_{X}(x_{i})=P(X=x_{i})=\sum _{j=1}^{\infty }p_{ij}\triangleq p_{i\cdot }
p_{Y}(y_{j})=P(Y=y_{j})=\sum _{i=1}^{\infty }p_{ij}\triangleq p_{\cdot j}
这些画一个表格来看就很清楚了。

Joint PDF: 对连续随机向量 (X,Y)，对任意 D\subseteq \mathbb{R} ^{2}：
P((X,Y)\in D)=\iint_{(x,y)\in D} f(x,y)\,\mathrm{d}x\mathrm{d}y
则 f(x,y) 称为 joint PDF。特别的，它与 joint CDF 的关系为：
F(x,y)=\int _{-\infty }^{y}\int _{-\infty }^{x} f(u,v)\,\mathrm{d}u\,\mathrm{d}v
可以用曲面图（Surface plot）或等高线图（Contour plot）来表示 joint PDF。

Marginal PDF： 对连续随机向量 (X,Y)，X,Y 的 marginal PDF：
f_{X}(x)=\int_{-\infty}^{\infty} f(x,y)\,\mathrm{d}y
f_{Y}(y)=\int_{-\infty}^{\infty} f(x,y)\,\mathrm{d}x
这里，joint PDF 可以定义 marginal PDF（通过 CDF 的求导），而反过来不行。

Conditional PMF / PDF

对离散随机向量 (X,Y) 在 Y=y 的条件下，其 joint PMF 为 p(x,y)，那么 X 的 conditional PMF 定义为
p_{X\mid Y}(x\mid y)\triangleq{}P(X=x\mid Y=y)= \frac{p(x,y)}{p_{Y}(y)}
这里要求 p_{Y}(y)>0。

类似的对连续随机变量，我们有 conditional PDF：
f_{X\mid Y}(x\mid y)\triangleq{}\frac{f(x,y)}{f_{Y}(y)}
这里要求 f_{Y}(y)>0。