Minitab中文网站 > 使用技巧 > Minitab和DE-G数据清洗有什么区别?缺失值与异常数据处理

服务中心

Minitab

简体中文版

免费下载
热门推荐

Minitab和DE-G数据清洗有什么区别?缺失值与异常数据处理

发布时间:2026-11-20 07: 15: 00

一张测试表里,空白可能代表漏测,`-99`可能是设备写入的失败代码,离群点也可能来自一批确实有问题的产品。三者都值得检查,处理方式却各不相同。Minitab可以先在工作表中统一缺失标记,再用图形或统计检验判断异常值。DE-G(DataExp-General)提供缺失、错误和离群数据的过滤功能,还能直接解析半导体测试文件。两款软件的差别,放到同一张测试表里看会更清楚。

一、Minitab和DE-G数据清洗有什么区别?

Minitab的工作表操作适合把数据整理规则逐项写清楚,例如哪些数值要重编码、哪些记录要复制到分析表。DE-G的优势在于测试数据的导入和筛选,尤其是数据本来就来自半导体测试设备时。

1、Minitab从工作表整理分析数据

假设一张表有测量值、批次号和测试状态三列,想分析某一批次的有效测量,可以在保留原表的前提下另建一份工作表。

①打开原始工作表,检查【测量值】列是数值类型,并核对【测试状态】列的取值。

②依次打开【数据】→【子集化工作表】,选择【使用与条件匹配的行】,按批次和测试状态设置保留条件。

③检查新工作表的行数,并抽查【批次号】和【测试状态】。原表保留全部记录,分析使用新表。

2、DE-G从测试文件筛出目标记录

①将设备产生的【STDF】文件导入DE-G,核对导入结果中的测试项目和记录数。若数据已经整理成表格,也可以使用【CSV】或【XLSX】文件。

②在导入结果中确认实际可用的批次、测试项目和测试结果等字段,再使用数据筛选功能缩小范围。

③对筛选后的【测试结果】查看分布,并核对筛选前后的记录数,确认需要调查的测试失败记录仍可追查。

DE-G能解析半导体生产测试中的CP、FT等数据。对于需要从多批测试记录中查看某个项目的场景,可以在同一平台衔接导入、筛选和分析。公开资料能确认这些功能,但没有给出足以核实的逐版本清洗菜单,也没有说明所有字段的缺失编码规则。具体入口和处理结果应以手头版本及导入后的表格为准。

二、缺失值与异常数据处理

清洗前先弄清字段定义。同一个-99在某列可能表示无读数,在另一列却可能是正常温度。异常值也要看来源,测量错误和真实的过程波动不能用同一条规则处理。

1、把缺失代码和有效测量分开

①查看测试记录说明,确认【-99】、【空白单元格】或其他标记分别表示什么,记录每条规则适用的列。

②在Minitab中依次打开【数据】→【重新编码】→【到数字】,把已确认代表缺失的数值改成【*】,优先将结果存到新列。

③在DE-G中先抽查导入后的同一批记录。对于软件已经识别的缺失项,使用缺失数据过滤功能。对于仍显示为【-99】的记录,按该列的取值筛选并核对排除数量。

Minitab的数值和日期时间列用星号表示缺失,文本列有自己的缺失显示方式。DE-G可以过滤缺失数据,但-99能否在导入时被识别为缺失,不能从功能简介推定。若只是为某项分析筛掉无效记录,保留原值和筛选规则即可,避免把其他项目中有意义的同值记录一并排除。

2、先看异常点来自哪里

测量值偏离主体分布时,可以先看它是否集中在某台设备、某个批次或某次换线之后。全表混在一起画图,容易把组间差异当成单条异常。

①在Minitab中打开【图形】→【箱线图】,按【批次】或【设备】分组查看测量值,记录远离同组数据的点。

②在DE-G中按同样的批次和测试项目筛选记录,再查看【测量值】的分布,回到数据表核对对应记录的状态。

③对照【测试时间】、【设备编号】和原始记录。能确认录入错误的,按原始记录更正。确认属于真实测量的,保留该点并标注调查结果。

3、需要统计检验时再判断适用条件

①对近似正态且怀疑存在单个离群值的样本,在Minitab中依次打开【统计】→【基本统计】→【异常值检验】。

②选择测量列,进入【选项】,按分析目的选择检验。例如,想判断样本里是否有一个异常值时,可选【Grubbs】。

③若图上有多个可疑点,先检查【批次】和【设备】是否混在同一组,避免反复删除当前极端值再检验。

三、清洗后怎么确认数据还能用于分析

清洗完如果只剩一张干净的表,别人很难判断某批数据为什么少了一截。用同一份原表留出前后对照,尤其适合需要交接的良率或质量分析。

1、按批次核对记录数

①从原始表汇总每批【总记录数】,另记【缺失记录数】、【确认错误数】和【有效记录数】。

②对照Minitab子集工作表或DE-G筛选后的记录,抽查一条保留记录和一条排除记录。

③如果一条记录同时命中多项规则,用【记录编号】核对,只计一次排除,并留下对应原因。

当缺失记录集中在某台设备或某个时段时,筛完的数据可能已经改变了样本构成。例如夜班测试失败较多,只分析有效读数,得到的分布就更偏向白班。这种情况应把缺失的分布也记进分析结果。

2、检查清洗规则有没有改变业务结论

同一个高值,在计算工艺分布时可能值得单独查看,在统计不合格品时却仍是一条有效记录。清洗范围要和分析目的相符。

①用同一批次数据分别计算清洗前后的【样本数】、【中位数】和【不合格率】,并记录不合格率采用的分母。

②对变化明显的批次,回看【排除记录】。区分无有效读数、测量错误和真实超规格三种情况。

③将清洗规则与【分析用工作表】一起保存,写清适用字段、取值条件和排除数量。

总结

一份能交接的清洗结果,应该说得清每条记录为什么被保留或排除。已有规则明确、需要逐项记录重编码和检验条件时,Minitab的工作表流程便于复查。经常接收半导体测试文件、需要按批次和测试项目反复筛选时,DE-G的解析和筛选能力更贴近这类工作。拿自己的数据试用时,可以挑一个既有失败代码、又有真实超规格记录的批次,看看处理后还能不能把两者分清。

展开阅读全文

︾

标签:DE-G统计分析软件,DE-G国产统计软件