问题陈述

假设我们有一个随机样本X ₁，X ₂，...，X _n，其假设概率分布取决于某个未知参数θ。我们的主要目标是找到一个点估计器u（X ₁，  X ₂，...，  X _n），使得  u（x ₁，  x ₂，...，  x _n）是一个“好”点估计  θ，其中  x ₁，  x ₂，...，  x _n 是随机样本的观察值。举例来说，如果我们计划采取随机样本  X ₁，  X ₂，...，  X _ñ  为其X _我假定均值是正态分布的μ和方差σ ²，那么我们的目标是要找到一个例如，使用 我们从特定随机样本中获得的数据  x ₁，  x ₂，...，  x _n，对μ的良好估计  。

基本理念

对未知参数θ 的良好估计似乎是合理的，  即最大化概率的θ 值  ，错误......即获得我们观察到的数据的可能性。（那么，你看到“最大可能性”这个名字来自何处？）因此，简而言之，就是最大似然估计方法背后的想法。但是我们如何在实践中实施该方法？好吧，假设我们有一个随机样本  X ₁，  X ₂，...，  X _n  ，其中每个X _i的概率密度（或质量）函数是f（x _i; θ）。然后，X ₁，  X ₂，...，  X _n的联合概率质量（或密度）函数  ，我们（不是任意）称之为L（θ）：

L （θ ）= P （X 1 = x 1，X 2 = x 2，... ，X n = x n）= f （x 1 ; θ ）· f （x 2 ; θ ）⋯ f （x n ; θ ）= ñ Π我= 1个 ˚F （X 我; θ ）L(θ)=P(X1=x1,X2=x2,…,Xn=xn)=f(x1;θ)⋅f(x2;θ)⋯f(xn;θ)=∏i=1nf(xi;θ)

第一个相等当然只是联合概率质量函数的定义。第二个相等来自于我们有一个随机样本的事实，这意味着  X _i 是独立的。并且，最后的等式只使用索引术语的乘积的简写数学符号。现在，最大似然估计的基本思想的光，进行一个合理的方法是治疗的“ 似然函数 ”  大号（θ）的函数  θ，并找到价值  θ最大化它。