什么是“预处理”？

1. 什么是“预处理”？

2. 什么是预处理，常用的预处理方法有哪些？

预处理常常指的是数据预处理，数据预处理常用处理方法为：数据清洗、数据集成。
1、数据清洗
数据清洗是通过填补缺失值，平滑或删除离群点，纠正数据的不一致来达到清洗的目的。简单来说，就是把数据里面哪些缺胳膊腿的数据、有问题的数据给处理掉。
总的来讲，数据清洗是一项繁重的任务，需要根据数据的准确性、完整性、一致性、时效性、可信性和解释性来考察数据，从而得到标准的、干净的、连续的数据。
（1）缺失值处理
实际获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针对这些缺失值，会基于变量的分布特性和变量的重要性采用不同的方法。
若变量的缺失率较高（大于80％），覆盖率较低，且重要性较低，可以直接将变量删除，这种方法被称为删除变量；若缺失率较低（小于95％）且重要性较低，则根据数据分布的情况用基本统计量填充（最大值、最小值、均值、中位数、众数）进行填充，这种方法被称为缺失值填充。
对于缺失的数据，一般根据缺失率来决定“删”还是“补”。
（2）离群点处理
离群点（异常值）是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。我们常用的方法是删除离群点。
（3）不一致数据处理
实际数据生产过程中，由于一些人为因素或者其他原因，记录的数据可能存在不一致的情况，需要对这些不一致数据在分析前进行清理。例如，数据输入时的错误可通过和原始记录对比进行更正，知识工程工具也可以用来检测违反规则的数据。
2、数据集成
随着大数据的出现，我们的数据源越来越多，数据分析任务多半涉及将多个数据源数据进行合并。数据集成是指将多个数据源中的数据结合、进行一致存放的数据存储，这些源可能包括多个数据库或数据文件。
在数据集成的过程中，会遇到一些问题，比如表述不一致，数据冗余等，针对不同的问题，下面简单介绍一下该如何处理。
（1）实体识别问题
在匹配来自多个不同信息源的现实世界实体时，如果两个不同数据库中的不同字段名指向同一实体，数据分析者或计算机需要把两个字段名改为一致，避免模式集成时产生的错误。
（2）冗余问题
冗余是在数据集成中常见的一个问题，如果一个属性能由另一个或另一组属性“导出”，则此属性可能是冗余的。
（3）数据值的冲突和处理
不同数据源，在统一合并时，需要保持规范化，如果遇到有重复的，要去重。
数据预处理的方法有哪些．中琛魔方大数据分析平台表示在实践中，我们得到的数据可能包含大量的缺失值、异常值等，这对数据分析是非常不利的。此时，我们需要对脏数据进行预处理，以获得标准、干净和连续的数据，这些数据可以用于数据分析、数据挖掘等。

数据审核的内容主要包括以下四个方面：
1、准确性审核。主要是从数据的真实性与精确性角度检查资料，其审核的重点是检查调查过程中所发生的误差。
2、适用性审核。主要是根据数据的用途，检查数据解释说明问题的程度。具体包括数据与调查主题、与目标总体的界定、与调查项目的解释等是否匹配。
3、及时性审核。主要是检查数据是否按照规定时间报送，如未按规定时间报送，就需要检查未及时报送的原因。
4、一致性审核。主要是检查数据在不同地区或国家、在不同的时间段是否具有可比性。

3. 预处理的目的

预处理的目的：是去除纱线或织物上的天然杂质，以及纺织过程中所附加的浆料、助剂和沾污物。经过预处理的纺织品具有较好的润湿性、白度、光泽和尺寸稳定性。天然纤维含杂较多，其纺织物的预处理要求也较高，天然纤维与化学纤维混纺织物的预处理工艺，应以适合天然纤维为主，同时照顾化学纤维的要求。

含义：纺织物的预处理，是纺织物烧毛、退浆、精练、漂白、丝光和热定形等工艺过程的总称。

解释：
是指在进行最后加工完善以前进行的准备过程，具体应用在不同的行业或领域，会有不同的解释。在一些程序设计语言中，预处理是preprocessing的翻译。

4. 预处理用法

在工业用水处理中，预处理工序的任务是将工业用水的水源—地表水、地下水或城市自来水处理到符合后续水处理装置所允许的进水水质指标，从而保证水处理系统长期安全、稳定地运行，为工业生产提供优质用水。预处理的对象主要是水中的悬浮物、胶体、微生物、有机物、游离性余氯和重金属等。这些杂质对于电渗析、离子交换、反渗透等水处理装置，会产生不利的影响。具体影响如下：
　　1、悬浮物
　　在离子交换水处理中，进水的悬浮物会附着于交换剂颗粒表面，降低交换容量。在电渗析水处理中，进水的悬浮物会粘附在膜表面上，成为离子迁移的障碍，增加膜电阻。
　　2、有机物
　　在离子交换水处理中，有机物会污染阴离子交换树脂，使其交换容量下降，再生剂耗量增大，树脂使用寿命缩短。在电渗析水处理中，水中带极性有机物被膜吸附后，会改变膜的极性，并使膜的选择透过性降低，膜电阻增加。在反渗透水处理中，有机物、胶体、悬浮物容易堵塞反渗透膜的微孔，使透水率很快下降。
　　3、微生物
　　水中的细菌转移到电渗析膜，在膜面上繁殖，也会产生膜电阻增加。细菌、微生物对醋酸纤维反渗透有侵蚀作用，细菌繁殖会污染膜。
　　4、游离性余氯
　　游离性余氯会使阳离子交换树脂或离子交换膜活性基团氧化分解，引起树脂或膜结构破坏。还会使反渗透聚酰胺膜性能恶化。
　　5、铁、锰离子
　　铁、锰离子易被离子交换树脂吸附，且不易被再生剂取代，降低交换容量，也会使电渗析膜污染、中毒。铁、锰金属氧化物，其含量高时，在反渗透膜表面易形成氢氧化物胶体，产生沉积作用。
　　由于上述一些不利的影响，导致工业用水处理系统产水量减少，出水的水质下降，工作周期缩短，消耗指标上升，制水成本提高，树脂和膜的使用寿命缩短，并在操作管理上增加麻烦那。随着工农业的不断发展，城市人口的日益密集，大量污水未经处理排入江河，严重污染了水源，，使自来水厂的水处理工作带来了极大困难。虽然城市给水部门作出很大努力，但是自来水厂的供水仍不能达到满意的水质，这就对工业用水的预处理提出了更高的要求。

5. 什么是预处理数据？

预处理常常指的是数据预处理，数据预处理常用处理方法为：数据清洗、数据集成。
1、数据清洗
数据清洗是通过填补缺失值，平滑或删除离群点，纠正数据的不一致来达到清洗的目的。简单来说，就是把数据里面哪些缺胳膊腿的数据、有问题的数据给处理掉。
总的来讲，数据清洗是一项繁重的任务，需要根据数据的准确性、完整性、一致性、时效性、可信性和解释性来考察数据，从而得到标准的、干净的、连续的数据。
（1）缺失值处理
实际获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针对这些缺失值，会基于变量的分布特性和变量的重要性采用不同的方法。
若变量的缺失率较高（大于80％），覆盖率较低，且重要性较低，可以直接将变量删除，这种方法被称为删除变量；若缺失率较低（小于95％）且重要性较低，则根据数据分布的情况用基本统计量填充（最大值、最小值、均值、中位数、众数）进行填充，这种方法被称为缺失值填充。
对于缺失的数据，一般根据缺失率来决定“删”还是“补”。
（2）离群点处理
离群点（异常值）是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。我们常用的方法是删除离群点。
（3）不一致数据处理
实际数据生产过程中，由于一些人为因素或者其他原因，记录的数据可能存在不一致的情况，需要对这些不一致数据在分析前进行清理。例如，数据输入时的错误可通过和原始记录对比进行更正，知识工程工具也可以用来检测违反规则的数据。
2、数据集成
随着大数据的出现，我们的数据源越来越多，数据分析任务多半涉及将多个数据源数据进行合并。数据集成是指将多个数据源中的数据结合、进行一致存放的数据存储，这些源可能包括多个数据库或数据文件。
在数据集成的过程中，会遇到一些问题，比如表述不一致，数据冗余等，针对不同的问题，下面简单介绍一下该如何处理。
（1）实体识别问题
在匹配来自多个不同信息源的现实世界实体时，如果两个不同数据库中的不同字段名指向同一实体，数据分析者或计算机需要把两个字段名改为一致，避免模式集成时产生的错误。
（2）冗余问题
冗余是在数据集成中常见的一个问题，如果一个属性能由另一个或另一组属性“导出”，则此属性可能是冗余的。
（3）数据值的冲突和处理
不同数据源，在统一合并时，需要保持规范化，如果遇到有重复的，要去重。
数据预处理的方法有哪些．中琛魔方大数据分析平台表示在实践中，我们得到的数据可能包含大量的缺失值、异常值等，这对数据分析是非常不利的。此时，我们需要对脏数据进行预处理，以获得标准、干净和连续的数据，这些数据可以用于数据分析、数据挖掘等。

数据审核的内容主要包括以下四个方面：
1、准确性审核。主要是从数据的真实性与精确性角度检查资料，其审核的重点是检查调查过程中所发生的误差。
2、适用性审核。主要是根据数据的用途，检查数据解释说明问题的程度。具体包括数据与调查主题、与目标总体的界定、与调查项目的解释等是否匹配。
3、及时性审核。主要是检查数据是否按照规定时间报送，如未按规定时间报送，就需要检查未及时报送的原因。
4、一致性审核。主要是检查数据在不同地区或国家、在不同的时间段是否具有可比性。

6. 什么是预处理

摘要： 对比研究了利用湿式氧化法和内电解法预处理有机磷农药中间体甲基氯化物生产废水的影响因素及处理效果，结果表明两种预处理方法均可行。湿式氧化法的处理效果稍好，COD、有机磷、有机硫的去除率分别达68.5％、65％、88％，出水BOD5/COD上升到0.36，但运行成本较高(2.95元/kgCOD)；而内电解法运行成本仅 为湿式氧化法的1/5，对COD、有机磷、有机硫的去除率分别达到62.43％、42.62％、68.37％出水的BOD5/COD上升至0.302。 

关键词： 湿式氧化法 内电解法 预处理 甲基氯化物废水 
  
 
甲基氯化物生产废水具有盐度高、有机硫和有机磷含量高、pH值高、毒性大以及难生化降解(BOD5/COD＜0.1)等特点〔1〕，目前处理这类废水成为生产有机磷农药厂家的棘手问题〔2〕。

7. 预处理都有哪些方法

生物预处理（biological pre-treatment）指主要利用生物作用，以去除原水中氨氮、异臭、有机微污染物等的净水过程。
生物预处理工艺有流化形式和滤池形式两大类。其中，流化池以悬浮球生物流化池为代表，而生物滤池又分为连续过滤与间歇反冲过滤两种。
浮球生物流化池具有池型简单、工程造价低、运行管理简便，工艺在设计负荷范围内对氨氮具有较高的去除率。歇反冲过滤生物滤池由于堵塞问题使得其应用受限，目前应用较好的典型工艺（主要用于污水处理）为轻质滤料生物滤池（威立雅公司）及重滤料生物滤料（得利满）。
连续过滤生物曝气滤池不需要将滤池停止运行就可以清洗滤床。气水同向向上流经滤床，而滤料慢慢向下移动。在过滤过程中脏滤料在一个清洗容器中清洗，脏物随清洗水一起排出。工艺采用锰砂作为生物载体，锰砂表面附着生物膜及催化物质在曝气充氧条件下去除水中氨氮。

8. 预处理一般指哪些工作？

预处理常常指的是数据预处理，数据预处理常用处理方法为：数据清洗、数据集成。
1、数据清洗
数据清洗是通过填补缺失值，平滑或删除离群点，纠正数据的不一致来达到清洗的目的。简单来说，就是把数据里面哪些缺胳膊腿的数据、有问题的数据给处理掉。
总的来讲，数据清洗是一项繁重的任务，需要根据数据的准确性、完整性、一致性、时效性、可信性和解释性来考察数据，从而得到标准的、干净的、连续的数据。
（1）缺失值处理
实际获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针对这些缺失值，会基于变量的分布特性和变量的重要性采用不同的方法。
若变量的缺失率较高（大于80％），覆盖率较低，且重要性较低，可以直接将变量删除，这种方法被称为删除变量；若缺失率较低（小于95％）且重要性较低，则根据数据分布的情况用基本统计量填充（最大值、最小值、均值、中位数、众数）进行填充，这种方法被称为缺失值填充。
对于缺失的数据，一般根据缺失率来决定“删”还是“补”。
（2）离群点处理
离群点（异常值）是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。我们常用的方法是删除离群点。
（3）不一致数据处理
实际数据生产过程中，由于一些人为因素或者其他原因，记录的数据可能存在不一致的情况，需要对这些不一致数据在分析前进行清理。例如，数据输入时的错误可通过和原始记录对比进行更正，知识工程工具也可以用来检测违反规则的数据。
2、数据集成
随着大数据的出现，我们的数据源越来越多，数据分析任务多半涉及将多个数据源数据进行合并。数据集成是指将多个数据源中的数据结合、进行一致存放的数据存储，这些源可能包括多个数据库或数据文件。
在数据集成的过程中，会遇到一些问题，比如表述不一致，数据冗余等，针对不同的问题，下面简单介绍一下该如何处理。
（1）实体识别问题
在匹配来自多个不同信息源的现实世界实体时，如果两个不同数据库中的不同字段名指向同一实体，数据分析者或计算机需要把两个字段名改为一致，避免模式集成时产生的错误。
（2）冗余问题
冗余是在数据集成中常见的一个问题，如果一个属性能由另一个或另一组属性“导出”，则此属性可能是冗余的。
（3）数据值的冲突和处理
不同数据源，在统一合并时，需要保持规范化，如果遇到有重复的，要去重。
数据预处理的方法有哪些．中琛魔方大数据分析平台表示在实践中，我们得到的数据可能包含大量的缺失值、异常值等，这对数据分析是非常不利的。此时，我们需要对脏数据进行预处理，以获得标准、干净和连续的数据，这些数据可以用于数据分析、数据挖掘等。

数据审核的内容主要包括以下四个方面：
1、准确性审核。主要是从数据的真实性与精确性角度检查资料，其审核的重点是检查调查过程中所发生的误差。
2、适用性审核。主要是根据数据的用途，检查数据解释说明问题的程度。具体包括数据与调查主题、与目标总体的界定、与调查项目的解释等是否匹配。
3、及时性审核。主要是检查数据是否按照规定时间报送，如未按规定时间报送，就需要检查未及时报送的原因。
4、一致性审核。主要是检查数据在不同地区或国家、在不同的时间段是否具有可比性。