CRF预备知识-02

14 Jun 2015

因式分解(factorization)

将一个复杂的高阶多项式分解成几个简单的因式之积。如:

xy + bx + ay + ab = (x + a)(y + b)

图模型

图模型的观点是一个多元分布通常都能用一些依赖于一小部分变量子集的局部函数(local functions) 之积来表示,其实很类似于因式分解的思想,如一个二元概率分布:

p(x, y) = f(x, y) = xy + bx + ay + ab, 
经过‘因式分解’成:
f(x)=(x + a)
f(y)=(y + b)
那么,p(x,y) = f(x)*f(y)

The insight of the graphical modeling perspective is that a distribution over very many variables can often be represented as a product of local functions that each depend on a much smaller subset of variables.

#无向图概率分布模型和随机场

一个无向图模型是指在既定的因子集合中,所有能够写成多个因式之积的概率分布,另外一种比较正式的自然点的叫法是因子图(factor graph)。在无向概率图模型中,因式分解得到的因子也叫做 局部函数(local functions)。随机场则是无向图模型中的一个特定的概率分布。CRF是MRF(Markov random field)的一个变种啦。

生成式和判别式

Generative models are models that describe how a label vector y can probabilistically “generate” a feature vector x. Discriminative models work in the reverse direction, describing directly how to take a feature vector x and assign it a label y.

生成式模型通常都是通过计算标签向量和特征向量之间(也就是输出和输入之间)的联合概率来确定最佳的标签向量,而判别式模型则是通过计算标签向量和特征向量之间的条件概率。两者之间理论上都可以通过Bayes规则进行转化,但是实际上在实际情况下两者之间有着很大的区别。主要是因为在计算联合概率的时候需要考虑输入也就是特征向量之间的相互依赖关系,而条件概率的优势则是如果只是在输入之间的相互依赖关系在条件概率模型中完全没什么用,所以不用考虑。

Ref:An Introduction to CRF

另外一种解释,判别式模型是计算p(y x),而生成式模型是计算p(x y).参考Andrew的课堂笔记