似然函数的定义

似然函数, likelihood function.

离散型随机变量的似然函数

假设离散随机变量\(X\)的分布率为\(P(X=x)\), 也可以写成\(P(X=x|\theta)\), \(\theta\)是\(X\)决定所属分布的具体形式的参数(, 在最大似然估计中是未知的).样本集\(D\)中含有\(m\)个样本: \(\{x_1, x_2, \dots, x_m\}\). 则\(D\)的似然函数为:

\[ L(\theta|D) = \prod_i^m P(X=x_i|\theta) \]

连续型随机变量的似然函数

假设连续型随机变量\(X\)的概率密度函数为\(f(x|\theta)\), 样本集\(D\)仍是\(m\)个样本: \(\{x_1, x_2, \dots, x_m\}\). 则\(D\)的似然函数为:

\[ L(\theta|D) = \prod_i^m f(x_i|theta) \]

对似然函数的直观理解

• 在形式上, \(D\)的似然函数与它的联合分布率/联合概率密度函数是相同的. 但是前者是以参数\(\theta\)为自变量, 后者是以\(x_1, \dots, x_m\)为自变量.
• 因为离散型变量的分布率直接就是变量值出现的概率, 所以对相应的\(D\)来说, $L(\theta|D) \(的值就是\)D\(本身出现的概率\)P(D|\theta)$. 但连续型变量参加计算的是概率密度, 不是概率本身, 所以, \(L(\theta|D)\)不是\(D\)出现的概率.