在统计建模中,参数的可识别性是一个非常重要的属性。为了理解可识别性,需要回顾统计建模的基础知识。
统计建模是一个使用可观测数据来捕捉真相或现实的过程。当然,不可能捕捉到全部真相。因此,统计建模的目标是尽可能多地理解现实。
统计建模有三个基本方面:估计、置信区间和假设检验。
估计是指寻找表征随机变量分布的参数值的过程。例如,可以说药物的估计有效性为75%。
置信区间用于在估计值周围产生一个误差条。例如,可以说有95%的信心认为药物的有效性在68%到81%之间。
最后,假设检验——数据驱动的科学探究的基础——用于找到关于底层分布的“是/否”答案。例如,可以说以99%的信心拒绝了药物没有效果的零假设。
随机实验的统计模型是一对:其中,E指的是实验的可测量样本空间。ℙθ指的是E上的概率度量族,即分配给实验的随机变量的概率分布。θ指的是表征分布P的未知参数集。Θ指的是参数空间,即可分配给参数的所有可能值的集合。
例如,考虑抛掷有偏硬币的实验。设X为一个随机变量,当出现正面时取值为1,出现反面时取值为0。实验的样本空间只有2种可能的结果:0和1。因此,E = {0, 1}。
显然,X具有伯努利分布。所以ℙθ = Ber(p),其中p是参数θ,表示得到正面的概率。如果硬币是无偏的,p将是0.5。但是,对于有偏硬币,p可以在[0, 1]区间内取任何值。这是事件的参数空间。因此,统计模型可以表示为:
周围的大多数统计建模都假设两件事:
数学上,单射函数定义如下:单射函数不能为两个不同的输入给出相同的输出。相同的输出只能通过使用相同的输入获得。如果为两个不同的输入得到相同的输出,那么该函数就不是单射的。让看几个例子:
1) f(x) = x^2 在 -∞ < x < ∞ 是否是单射的?
不是。注意到-2和+2给出了相同的输出4。因此,它不是单射的。
2) f(x) = sin(x) 在 0 ≤ x ≤ π 是否是单射的?
不是。注意到π/6和5π/6给出了相同的输出1/2。因此,它不是单射的。
3) f(x) = x^2 在 0 < x < ∞ 是否是单射的?
是的。对于每个输出,都有一个唯一的输入。没有两个输入给出相同的输出。可以这样展示:
4) f(x) = sin(x) 在 0 ≤ x ≤ π/2 是否是单射的?
是的。对于每个输出,都有一个唯一的输入。没有两个输入给出相同的输出。可以这样展示:
可识别性,简而言之,意味着参数空间Θ中的不同参数值必须产生不同的概率分布。数学上,如果且仅如果映射是单射的,参数θ就是可识别的。也就是说,对于两个不同的参数值(θ和θ'),必须存在两个不同的分布(ℙθ和ℙθ')。
等价地(通过反证法),一个不可识别的参数是它从参数空间中取的不同值给出相同分布的参数。
参数的可识别性使能够获得该参数值的精确估计。在缺乏可识别性的情况下,即使有无限多的观测,也无法估计参数θ的真实值。
例子1:再次以硬币投掷为例。如前所述,实验的统计模型可以表示如下:将检查上述模型中的参数'p'是否可识别。为此,将使用反证法。首先假设对于两个不同的参数p和p',有相同的分布ℙp = ℙp'。分布可以显示如下:
现在,通过假设:
因此,参数p和p'相等,这与假设相矛盾,即它们是不同的。因此,
这证明了给定统计模型中的参数p是可识别的。ℙp随p值的变化如下所示:
例子2:将以另一个可识别参数为例。考虑一个随机变量X,它具有均值为µ和方差为σ²的正态分布。统计模型的样本空间是整个实数集(–∞,∞)。例子的统计模型如下所示:
对于这个模型,将证明参数µ和σ是可识别的。就像以前一样,假设对于两组不同的参数(µ,σ)和(µ',σ'),有相同的分布ℙ(µ, σ) = ℙ(µ', σ')。分布可以显示如下:
现在,通过假设:
对于上述表达式等于零,重要的是x和x²的系数都为零。因此,
这也证明了给定统计模型中的参数µ和σ是可识别的。ℙµ随µ值的变化如下所示:
ℙσ随σ值的变化如下所示:
例子3:在这个最后的例子中,将尝试理解不可识别的参数。再次使用一个随机变量X,它具有伯努利分布。然而,将以不同的方式定义X。让X由指示函数定义如下:
设p为X的分布参数(ℙp)。由于X具有伯努利分布,其概率质量函数如下所示:
这里,参数p显示的是Yi(具有均值µ和方差σ²的正态分布)非负的概率。也就是说,
遵循标准化过程以获得Z(标准正态分布,均值为0,方差为1)如下:
这里,Φ是标准正态分布的累积分布函数(CDF)。可以推断出参数p的值仅取决于参数θ = µ/σ。对于这种分布,参数集(µ,σ)是不可识别的。为了说明这一点,将取(µ,σ)的两个不同值,并展示Xi的分布对于这两个值都保持不变:
首先,让(µ,σ)的值为(1,2)。因此,p的值计算为:
因此,即使(µ,σ)取不同的值(只要它们是成比例的),p的值仍然保持不变。因此,Xi的分布保持不变。这表明集合(µ,σ)是分布的不可识别参数。需要注意的是,尽管(µ,σ)是不可识别的,但参数θ = µ/σ对于给定的分布是可识别的(因为随着µ/σ的变化,p的值变化,这改变了分布的形状,因为p是可识别的)。