From Chapter 1 ~ Chapter 4

chapter 1

1.1 Definitions, Basic

主要是一些定义。

    1. Measureable Space \( (Omega, varepsilon) \): \( Omega \)为outcome space, 如投掷骰子,结果无非是6个面各自的点数,i.e., 1,2 3,4,5,6. \( varepsilon \)为event space, 例如定义某各event为投掷两次分别出现1和5。 概率往往是衡量这个event出现的概率,例如,投掷两次分别出现1 和 5 的概率。
    1. \( varepsilon \), event space,是\( Omega \)outcome space 的 powerset. 即, event space必须span outcome space中可能出现的所有event。
    2. 定义\( P(Omega)=1\).
    3. 定义,若一次event \( A1, A2, A3... in varepsilon \), 则\(A1 cup A2 cup A3cup ...\)发生的概率为其各自概率的相加得到的结果。简单地讲,多个独立事件以并集的方式发生的概率为其各自概率之和。
    4. Single event, 基本元素 \( omega in Omega \) , 代表outcome space 中的一个结果。
    5. Random Variable X. X 是 \( omega \)的函数。可以认为 \( omega \) 是低层次的基本元素,而X是第二层次的\( omega \) 的函数。 例如,\( omega \)代表一次投掷骰子的结果, X表示某次投骰子得到的点数是奇数。那么, 这个X作为一个function,做的是以下transformation 或 mapping:
      $$X: \Omega \rightarrow \Omega_X}$$

    例如, 定义X函数为:
    2017-10-9 11-46-35.png

    1. 有了random variable之后,可以做以下定义了, 以下所有定义都是等同的。
      $$P_{X}(X=x)$$

    $$P_{X}(X \in A)$$
    $$P({w:X(w)=x})$$
    $$P({w:X(w) \in A})$$
    既然都是等同的,我们就用简单的记法\(P_{X}(X=x)\)

    1. Probability Space, \((Omega_{X}, varepsilon_{X}, P_{X})\), 事实上,通过定义,我们可以将X表示为No transoformation的形式,即$$X: \Omega \rightarrow \Omega$$, 是一个identity transformation, 要达到这个效果很简单,只要适当地定义你的outcome space \( Omega \)就行了。
    2. Borel Field (Borel Set), 把连续的outcome space \( Omega \)分成不同的counting interval,把这些counting interval进行组合,求非等逻辑运算之后得到的集合。这个用于估计连续变量的分布函数PDF。

    1.2 Random variable types

    1. 第一种分类法: Discrete sets 如{红色,黄色,蓝色}, continuous sets 如[0,100], mixed variables 如 \( Omega=[0,100] cup {晴天} \).
    1. 第二种分类法: finite, infinite

    1.3 PMF 与 PDF,一些常用的分布们。

    1. PMF,用于定义discrete 分布,常用的PMF有,
      ..* Bernoulli Distribution, 简单地讲就是一个二项分布,真或假,是或不是。可以用\( alpha ^{w} (1-alpha) ^{1-w} \)这个统一的方程来表达两种情况,w=0或者1. 这个方程表达的就是w=1时概率为 \( alpha \), w=0是概率为\( (1-alpha) \).

    ..* Uniform Distribution, p(w)=1/n
    ..* Poisson Distribution. 模拟一种带峰值的分布,例如一天中接电话次数的分布。一次,两次,。。。N次,一般中间某个次数的概率是最大的,呈现一个峰值。

    1. PDF,用于定义continuous 的分布,常用的PDF有:
      ..* P(X=x)=0, 求某个值的概率是没有意义的,一般是求某个区间的概率,即要求积分。这个时候Borel Set就派上用场了。

    ..* PDF的定义是, 对于random variable X,以及某个值x, P(x)定义为\(P(x)=P ( X leq x ) \)
    ..* Unbaised coin VS biased coin: 简单地讲,就是\( alpha neq 0 \)
    ..* 常用的分布, Uniform Distribution, Triangular Distribution, Normal Distribution, Exponential Distribution, Gamma Distribution(就是Poisson Distribution的连续函数版本)

    1.3 Joint, Marginal, Conditional Distribution.

    1. Joint Distribution: P(x,y)
    2. Marginal Distribution, P(x), P(y), 就是把x, y 单独分出来
    3. Conditional Distribution: P(y (x)=P(x,y)/P(x).

    1.4 Bayes Rule

    1. 最关键的是这个公式
      $$P(x,y)=P(x|y)P(y)=P(y|x)P(x)$$
    2. 由这个公式可以得到
      $$ P(x|y)=P(y|x)P(x)/P(y)$$

    即Bayes Rule, 这个公式常用于MAP与MLE的变换。

    1. Chain Rule:
      $$P(x1, x2, x3)=P(x1|x2,x3)P(x2,x3)=P(x1|x2,x3)P(x2|x3)P(x3)$$

    或者

    $$P(x1, x2, x3)=P(x3|x1,x2)P(x1,x2)=P(x3|x1,x2)P(x2|x1)P(x1)$$
    1. 一种特殊的条件分布, P(x1,x2|x3). 容易得出, 我们有
      $$P(x1,x2,x3)=P(x1,x2|x3)P(x3)$$

    这里出现的就是这种特殊的条件分布。

    1.5 Independence of Random Variables.

    主要考察的是P(x1,x2) 与P(x1,x2|x3)这种分布的factorization。

    1. 我们知道, \(P(x1,x2)=P(x1|x2)P(x2)=P(x2|x1)P(x1)\)
      若X1,x2相互独立,则\(P(x1|x2)=P(x1), P(x2|x1)=P(x2)\)

    因此\( P(x1,x2)=P(x1)P(x2) \)
    显然,此时\( P(x1,x2|x3)=P(x1|x3)P(x2|x3) \), 那么是否这个式子成立就意味着x1,x2一定相互独立呢? 不一定, 确切地说,这意味着x1, x2在x3情况下独立。

    1. 若x1, x2在条件x3情况下相互独立,则\( P(x1,x2|x3)=P(x1|x3)P(x2|x3) \)
      证明:

    $$P(x1,x2|x3)=\frac {P(x1,x2,x3)) {P(x3)} $$

    $$P(x1,x2,x3)=P(x1|x2,x3)P(x2|x3)P(x3)$$
    由于x1,x2在x3下相互独立,因此

    $$P(x1|x2,x3)=P(x1|x3)$$

    因此

    $$ P(x1,x2|x3)= P(x1|x3)P(x2|x3) $$