首页 > 百科 > 数码家电

大样本离群数据取舍的标准 误差处理的部分应用

时间:2023-08-08来源:网络作者:小白

涉及到几个手段,区别是:

1.14d检验法

1.2Q检验法

1.3Grubbs检验法

1.4偏态-峰态数据分布正态性检验法

1.5相对极差

1.6STD、RSD

说明:本文公式均为Excel公式,那种大计算公式懒得敲。

对于以上6种手段,其中1-3为离群值的剔除,4也可以做离群值的剔除,详见GB/T 4883-2008偏度-峰度检验法,5-6为整体离散度的一个判断。

2、离散度

大样本离群数据取舍的标准 误差处理的部分应用 1

图片来自百度,侵删。

离散程度,英文名Measures of Dispersion,是指通过随机地观测变量各个取值之间的差异程度,用来衡量风险大小的指标。

定义来自百度百科。

2.1相对极差:

大样本离群数据取舍的标准 误差处理的部分应用 2

示意图2.1

极差:

对照上图可以看得出来,极差做的就是离散的判断,最基本的计算,所以也叫做全距。

相对极差:

对照上图可以看得出来,引入平均值后,对于相同极差的数据也能够体现出不同的离散度。

但是相对极差不如极差显著。

2.2STD、RSD:

示意图2.2

STD:

对照示意图2.2可以看出来,两组数据的离散是一致的,但是两组数据实际并不在一个范畴中,一个属于1以下,一个属于10以上。标准偏差是每个值与平均值比较,因为乘方的关系会扩大这种差异,对于1、2、3、4、5和1、2、2、5、5这种数据,极差是无法处理的,标准偏差就可以明确的给出离散程度的分别。

可以看下面这个示例:

示例图2.2

RSD:

对照示意图2.2可以看得出来,相对标准偏差体现出了两组范畴不同的数据的差别,同样也因为这个平均值,对于10.112和0.112这两组数据就明显体现出精密度的差别了,一个是五位有效数字一个是三位有效数字,同样波动下,显然五位有效数字这组精密度更好。

3、离群值

上面的方法做了离散度的判断,那么具体有哪些值离群了呢?是否可以非主观的去判断离群值从而方便查找真相和数据处理呢?

有。

3.14d检验法:很简单的小方法,问题也不少,先说计算。

大样本离群数据取舍的标准 误差处理的部分应用 9

示意图3.1

4d检验法

适用于10个数据以上的处理,如果数据量在5~10,可以酌情使用2.5d,问题是数据量不够的时候 <10,容易无法正确判断是否离群值。

3.2Q检验法:适用于10个数据以内的处理。

大样本离群数据取舍的标准 误差处理的部分应用 11

示意图3.2

Q检验法:

3.2.1选取可疑值:

3.2.2计算测定次数

3.2.3与可疑值最接近的值的绝对差值

3.2.4Q值

3.2.5查表

这里解释一下,数据是5个没错,但是因为查询表返回的数值是以0.01那行开始计算的,index的作用是返回对应行、列的数值,那么查出来0.01那一列的数据,如果用5,就会查到7和0.01交叉的数值,但是数据实际是n=3开始的,所以要-2。

3.2.6判断

3.3Grubbs检验法:

大样本离群数据取舍的标准 误差处理的部分应用 18

示意图3.3

Grubbs检验法:

3.3.1上侧

3.3.2下侧

3.3.3判断

IF 上侧>临界值,"上侧检出:"&MAX 范围,"上侧未检出"&","&IF 下侧>临界值,"下侧检出:"&MIN 范围,"下侧未检出"

稍做一下改变:

大样本离群数据取舍的标准 误差处理的部分应用 21

示例图3.3.3-1

再做一下改变:

大样本离群数据取舍的标准 误差处理的部分应用 22

示例图3.3.3-2

还做一下改变:

大样本离群数据取舍的标准 误差处理的部分应用 23

示例图3.3.3-3

对于检测来说,如果整组数据RSD符合就没必要再去剔除离群值。

3.4偏态-峰态数据分布正态性检验法:

数据是正态分布以上手段才是有效的。那么就验证正态分布吧。

大样本离群数据取舍的标准 误差处理的部分应用 24

示意图3.4

偏态-峰态数据分布正态性检验法:

3.4.1母体方差

解释一下power函数中的2改3、改4就可以。

3.4.2A偏态

解释一下,0.5即开方。

3.4.3B峰态

3.4.4判断

偏态判定:IF 偏态<INDEX XLOOKUP 置信概率&"偏态A1"查询范围,返回范围,MATCH COUNT 范围,范围,0,"通过","不通过"

解释一下,match中的0为精确查找,就是=。

峰态判定:IF AND INDEX XLOOKUP 置信概率"峰态B1",查询范围,返回范围,MATCH COUNT 数据量,范围,0<峰态,峰态<INDEX XLOOKUP 置信概率&"峰态B2",查询范围,返回范围,MATCH COUNT 范围,范围,0,"通过","不通过"

最后判定:

这东西没有一定数据量没啥意义,一般会结合Grubbs剔除异常值后去做,先上100个数据。

属兔人翻身的真相,不是玄学,是你迟到的价值回报

最近朋友圈疯传的“属兔人2025年要翻身”,其实是一场精心设计的心理游戏。 你有没有发现,每次刷手机,总能看到“属兔人注意!”“2025年立冬后运势大爆发”这类标题? 点进去一看,描述得煞有介事——什么“多年隐忍终得回报”“财运暴涨贵人相助”,甚至精确到月份,让人忍不住对号入座。 可仔细想想,这些说法真的靠谱吗? 1. 为什么“属兔人翻身”能火?因为它太懂中年人的焦虑了 35岁到55岁这个阶段,谁没经历过职场瓶颈、家庭压力、自我怀疑? 房贷、孩子教育、父母养老,哪一样不是压在肩上的担子? 《中国国民心理健康发展报告》早就指出,这个年龄段的人心理压力最大。 而“属兔人翻身”的预言,恰好给了这群人一个盼头——“再坚持一下,2025年就好了!”这种心理暗示,比任何鸡汤都管用。 它让人相信,现在的辛苦不是白费,未来一定会有转机。 2. 心理学揭秘:为什么你会信? 你有没有做过那种星座测试? 明明描述得很笼统,比如“你外表坚强,内心敏感”“你渴望被理解,但很少表达”,却觉得特别准? 这就是著名的“巴纳姆效应”——人总喜欢把模糊的描述往自己身上套。 “属兔人翻身”的套路一模一样。 它不会说“你下个月会中彩票”,而是用“多年的付出终有回报”“家庭事业迎来转机”这种万能模板。 谁听了不觉得是在说自己? 3. 真正的翻身,从来不是靠运气 那些所谓的“财运暴涨”“贵人相助”,其实是你过去十年积累的结果。 比如75年出生的属兔人,如果一直在某个行业深耕,2025年正好是经验、人脉、资源爆发的时候。 这不是玄学,是市场规律——你的价值,迟早会被看见。 而那些等着“运势”改变却不行动的人,就算到了2025年,照样不会翻身。 4. 为什么“2025年立冬”这个时间点这么重要? 因为它是一个心理锚点。 人需要希望,更需要一个具体的期限。 比如减肥的人会说“三个月后我要瘦十斤”,备考的人会想“再坚持半年就解放了”。 “2025年立冬”就是这个期限,它让人有了坚持下去的动力。 科学研究早就证明,积极的心理暗示能降低压力激素水平,改善情绪和健康。 所以,不是2025年有什么魔力,而是你相信“我能翻身”的那一刻,就已经在改变未来了。 5. 别等“运势”,去做那个“贵人” 最讽刺的是,那些真正在2025年迎来转机的人,往往根本不信什么“属兔人翻身”。 他们可能每天早起学习新技能,可能默默优化工作流程,可能坚持锻炼保持精力……这些小事,才是翻身的真正筹码。 所以,别把希望寄托在虚无的预言上。你需要的不是等待,而是行动。 最后说一句: 命运从不偏袒某个生肖,它只偏爱那些从不放弃的人。

属兔人注意!老天暗送“两大福运”,接住就能逆风翻盘,富贵临门

属兔的兄弟姊妹看过来!咱天生心思灵巧、待人温和,做事细致又有分寸,从不争强好胜,却总在默默积攒实力。今天要跟你说个天大的好消息:别再低调等机会了,老天爷已经悄悄为你备下“两大福运”,接住了,往后就能告别平淡日子,逆风翻盘赚大钱,富贵挡都挡不住! 先跟你说句掏心窝的:咱属兔的人不缺智慧,缺的是主动把握机会的勇气。日子是靠用心经营出来的,不是等出来的。平时你待人真诚、处事周全,早就攒下了好人缘,这些都是你命中的“隐形财富”。别总觉得“顺其自然就好”,该出手时就出手,好运才会主动找上门。 第一大福运:“智德吉星”高照,事业财运双丰收!接下来这段时间,你的智慧和才华终于要被看见啦!工作上,领导会发现你细致靠谱的特质,把能出彩的关键任务交给你——比如需要精准把控细节的项目、协调各方关系的合作,这些都是你擅长的领域,正好能大展拳脚,说不定还能升职加薪、奖金翻倍。财运上更是顺风顺水,正财稳扎稳打,副业还可能迎来意外惊喜,比如之前投入的小项目有了回报,或是靠人脉牵线拿到赚钱机会,钱袋子越鼓越满! 第二大福运:“厚积薄发”终有时,38岁是人生黄金转折点!咱属兔的人向来不急于求成,默默沉淀自己,而38岁就是你收获的关键期。之前你积累的经验、攒下的人脉,都会在这个阶段集中发力,让你迎来事业的高峰期。不管是创业的想扩大规模,还是上班的想突破瓶颈,都能得到贵人相助——可能是赏识你才华的前辈,或是志同道合的合作伙伴,他们会在关键时刻拉你一把,让你少走弯路,直奔成功。 最近这段时间一定要留心:贵人已经在向你靠近了,可能是一次偶然的饭局,或是工作中的一次合作,对方会一眼看中你的能力和人品,给你带来意想不到的好机会。而且“三合”吉星助力,不管是谈合作、签合同,还是拓展人脉,都能顺顺利利、事半功倍。感情上也可能传来好消息,单身的有望遇到心意相通的人,已婚的夫妻感情更和睦,家庭美满也是富贵的根基! 咱属兔的人向来实在,这两大福运不是空谈,都是你多年来待人真诚、做事踏实攒下的福报。别再低调内敛了,主动一点、勇敢一点,接住老天爷送的福气,往后的日子必然顺风顺水、富贵临门,再也不用为钱发愁!
标签:
>推荐阅读 >特别推荐 >火热推荐