什么叫以偏概全?

什么叫以偏概全?

你好。

你这是假的以偏概全,我这才是真·以偏概全。

现有一个我感兴趣但未知的事情,比如我一位朋友的前男友的剩余阳寿 。而他的生存函数,我无法直接观测,只能通过一些线索,样本数据 来推断。

而由于各种各样的原因,我得到的是长度有偏抽样(length-biased sampling)。

——正常人看来,注定要“垃圾进,垃圾出”了。

但丢垃圾是计算机科学家的事情,我们搞统计的,绝不放过垃圾桶里好看的垃圾!

即便是个有偏抽样,我照样能算UMVUE(一致最小方差无偏估计)!

首先,我需要对原始数据进行无损压缩,使统计量能包含样本中关于未知参数 的全部信息,即,构造充分统计量(Sufficient Statistic)。

由于充分性的概念本身是基于给定样本数据的似然函数的,定义中并没有对抽样方式进行要求。因此,统计量 是否是参数 的充分统计量,取决于样本 的联合概率密度函数或概率质量函数,也就是似然函数 。

尽管有偏抽样改变了我观察到的数据的概率分布,改变了似然函数的形式,但充分性的基本原理以及寻找充分统计量的方法,比如因子分解定理,仍然适用于基于有偏样本的似然函数。

理论上,我依然可以为有偏抽样构造充分统计量。

根据Neyman-Fisher 因子分解定理 (Factorization Theorem),当且仅当似然函数可以分解为 的形式时, 是 的充分统计量。其中 函数依赖于 且仅通过 依赖于数据 , 函数不依赖于 。

假设原始目标总体的分布密度为 ,有偏抽样引入了一个权重函数 ,它可能依赖于 ,甚至可能依赖于 。观察到的样本实际上来自一个新的分布

其中 是归一化常数,它可能依赖于 。

因此,基于观测到的有偏样本 ,似然函数变成了

此时,因子分解定理仍然适用。我们仍然可以尝试对这个新的似然函数 应用因子分解定理。

如果能找到一个统计量 ,使得 可以分解为 的形式,那么 就是在有偏抽样模型下关于 的充分统计量,这个充分统计量 包含了有偏样本中关于 的所有信息。

我们也就完成了以偏概全的一步。

现在,我为这位朋友的前男友选择一个比较标准的生存函数

也就是他的阳寿随机变量 服从参数为 的指数分布,其概率密度函数为 ,对于 。相应的,剩余生存时间(剩余阳寿)的生存函数

现在,长度有偏抽样的权重函数为 ,归一化常数 ,观察到的样本来自长度有偏分布: ,。

这是一个 分布。

基于 个来自 的独立观测 ,似然函数为

令 , , ,得到

。

在该长度有偏抽样的指数分布模型下,样本总和 是 的一个充分统计量。

接着,检查充分统计量 对分布族是否为完备的。即,对于任何函数 , 对所有 成立能够推出 对所有 成立。

由于 是一个单参数指数族,因此 是完备的。

现在,寻找基于 的无偏估计。此时,我们需要找到 使得 。

而 ,其概率密度函数为 。

考虑 。计算其期望:

积分部分为

所以,

为了使期望等于 ,我们需要 ,解得 ,其中,假设 ,这对于样本量 成立。

因此, 是 的一个无偏估计量。

由于 是完备充分统计量,且 是基于 的 的无偏估计量,所以,由Lehmann-Scheffé 定理, 就是在长度有偏抽样指数分布模型下,参数 唯一的 UMVUE。

于是,我这位朋友的前男友剩余生存时间(剩余阳寿)分布的估计就是:

当然,注意到,构造出的 UMVUE 是针对原始参数 的估计,但其形式和推导过程依赖于有偏抽样模型,UMVUE 的存在性并不总是得到保证。

即使存在,寻找 或计算条件期望 在数学上可能非常复杂,尤其是当 不是指数族或者 不完备时。

换而言之,这位朋友的前男友的剩余阳寿……可能……嗯……

这,就是完美的真·以偏概全了!

希望对我的每一个朋友都有所帮助。