CRF预备知识-01

6 Jun 2015

CRF(Conditional Random Field)是条件随机场的简写。

要理解CRF,需要的基本联合概率条件概率的知识。先说概率的概念,概率直观上就是可能性,100个人中60男40女,那么随机从中选 一个人的时候,选到男性的概率就是0.6=60/100.那么什么是联合概率和条件概率呢?

  1. 条件概率,联合概率

简单来说,联合概率是多个事件同时发生的概率,条件概率则是事件相互影响程度的一种表现。如在某个学校数学系和外语系 老师性别分布(From)情况如下:

系别/男女 数学(M1) 外语(F1) 总共
女(F) 1 17 18
男(M) 37 20 57
总共 38 37 75

一个老师男数学老师的概率就是计算条件概率也就是同时满足是男性,数学系这两个条件,P(M1,M) = 37/75; 而一个老师是数学系老师的概率则是条件概率,其表示的意思是在所有的老师里面,首先知道这个人是男老师, 然后根据这个条件去判断他数学系老师的概率,P(M1|M) = 37/38.

2.多元联合概率计算

在上面老师的例子中可以看到,P(M1,M) = 37/75, 另外P(M1|M)也满足,P(M1,M) = P(M1|M)*P(M).根据这个基本的公式, 可以推导出多元条件概率的计算公式:

  P(A1,A2,A3,A4) = P(A1|A2,A3,A4)*P(A2,A3,A4)
  = P(A1|A2,A3,A4)*P(A2|A3,A4)*P(A3,A4)
  = P(A1|A2,A3,A4)*P(A2|A3,A4)*P(A3|A4)*A(4)
  同样可以得到,P(A1,A2,A3,A4) = P(A1)*A(A2|A1)*P(A3|A1,A2)*P(A4|A1,A2,A3)

可以参考的书:Probability and Statistics for Engineering and the Sciences.