数据清洗需清理哪些数据

1. 数据清洗需清理哪些数据

数据清洗需要清理的数据，是输入数据后需要对数据进行预处理，只有处理得当的数据才能进到数据挖掘的步骤。而处理数据包括对数据数量和质量的处理。

包括对缺失的数据有添补或删除相关行列方法，具体步骤自己判断，如果数据量本来就很少还坚持删除，那就是自己的问题了。

添补:常用拉格朗日插值或牛顿插值法，也蛮好理解，属于数理基础知识。(pandas库里自带拉格朗日插值函数，而且这个好处是还可以在插值前对数据进行异常值检测，如果异常那么该数据就也被视为需要进行插值的对象)。

删除:这个也好理解，就是对结果分析没有直接影响的数据删除。

异常值
这个是否剔除需要视情况而定
像问题1中视为缺失值重新插值
删除含有异常值的记录(可能会造成样本量不足，改变原有分布)
平均值修正(用前后两个观测值平均值)
综上，还是方案一靠谱。
人生苦短，学好python
3 数据量太多，有三种方法:集成，规约，变换
(1)数据是分散的时，这个就是指要从多个分散的数据仓库中抽取数据，此时可能会造成冗余的情况。此时要做的是【数据集成】。
数据集成有两方面内容:
①冗余属性识别②矛盾实体识别
属性:
对于冗余属性个人理解是具有相关性的属性分别从不同的仓库中被调出整合到新表中，而新表中由于属性太多造成冗余，这时可以靠相关性分析来分析属性a和属性b的相关系数，来度量一个属性在多大程度上蕴含另一个属性。等等。

数据清洗时预处理阶段主要做两件事情：

一是将数据导入处理工具。通常来说，建议使用数据库，单机跑数搭建MySQL环境即可。如果数据量大（千万级以上），可以使用文本文件存储+Python操作的方式。

二是看数据。这里包含两个部分：一是看元数据，包括字段解释、数据来源、代码表等等一切描述数据的信息；二是抽取一部分数据，使用人工查看方式，对数据本身有一个直观的了解，并且初步发现一些问题，为之后的处理做准备。

数据清洗是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。

2. 用python 清理数据

简单来说，比如这样：
def clear_line(ln):    if not ln.startsWith('W:'): return None    if ln=='W:': return None    # parse this line    # replace char    ln = ln.replace('"', '')    # other replace    # ...    return lnfilename = 'xxx.txt'lines = open(filename).readlines()cleared = []for line in lines:    nl = clear_line(line)    if nl is not None: cleared.append(nl)open('cleared-'+filename, 'w').write('\n'.join(cleared))
假设需要转换的文件是xxx.txt。
类似替换双引号为空白字符那里，后边再继续增加替换的规则，就可以简单的处理这个文本了。
程序会最终输出一个cleared-xxx.txt。
如果对代码还是不太懂，建议最好学一下Python学习手册，这个还是很简单的。

3. Python适合大数据量的处理吗？

题主所谓的大数据量，不知到底有多大的数据量呢？按照我的经验，Python处理个几亿条数据还是绰绰有余的。但，倘若题主想要处理PB级别的数据，单纯依靠Python是不行的，还需要一些分布式算法来进行辅助。


其实，大多数公司的数据量并不大，就拿我们数据分析师行业来说。大多数的数据分析师所处理的数据，很少有上百万的数据量。当然，也有一些数据分析师是要处理上万上亿的数据量的，但占比是没有前者多的。


因此，当今数据分析领域中最活跃的工具并不是Python，反而是Excel。当然，Excel作为数据的处理工具是有其独到之处。灵活的函数功能+一力降十会的数据透视表能让用户对Excel如视珍宝。


但很遗憾，Excel就有数据量大小的限定，Excel记录数事不能超过105万的。超过这个数据限制，要么分表统计，要么就使用sql或者Python来进行数据分析。

通常在工作中，我就经常将几百个表用python进行合并，做简单的清洗工作。而一旦清洗完毕，用抽样工具一抽我们就可以进行抽样以及数据分析了。
希望对你有所帮助，欢迎评论。

4. Python3数据清洗-数据筛选

替换缺失值的方法：
1）fillna
2）含有重复索引的合并combine_first
3）replace
data2 = pd.Series([1.,-999,2,-999,-1000,3.])
data212
0       1.0
1    -999.0
2       2.0
3    -999.0
4   -1000.0
5       3.0
dtype: float64

5. python如何面对几十万条的数据处理

建议导入到数组中，使用numpy的各种操作方法会比较省时省力。

6. python pandas数据清洗，求答案！

原始数据都没有怎么给你答案？

7. Python 适合大数据量的处理吗

python可以处理大数据，python处理大数据不一定是最优的选择。适合大数据处理。而不是大数据量处理。 如果大数据量处理，需要采用并用结构，比如在hadoop上使用python，或者是自己做的分布式处理框架。
python的优势不在于运行效率，而在于开发效率和高可维护性。针对特定的问题挑选合适的工具，本身也是一项技术能力。
Python处理数据的优势（不是处理大数据）：
1. 异常快捷的开发速度，代码量巨少
2. 丰富的数据处理包，不管正则也好，html解析啦，xml解析啦，用起来非常方便
3. 内部类型使用成本巨低，不需要额外怎么操作（java，c++用个map都很费劲）
4. 公司中，很大量的数据处理工作工作是不需要面对非常大的数据的
5. 巨大的数据不是语言所能解决的，需要处理数据的框架（hadoop， mpi）虽然小众，但是python还是有处理大数据的框架的，或者一些框架也支持python。

扩展资料：

Python处理数据缺点：
Python处理大数据的劣势：
1、python线程有gil，通俗说就是多线程的时候只能在一个核上跑，浪费了多核服务器。在一种常见的场景下是要命的：并发单元之间有巨大的数据共享或者共用（例如大dict）。
多进程会导致内存吃紧，多线程则解决不了数据共享的问题，单独的写一个进程之间负责维护读写这个数据不仅效率不高而且麻烦
2、python执行效率不高，在处理大数据的时候，效率不高，这是真的，pypy（一个jit的python解释器，可以理解成脚本语言加速执行的东西）能够提高很大的速度，但是pypy不支持很多python经典的包，例如numpy。
3. 绝大部分的大公司，用java处理大数据不管是环境也好，积累也好，都会好很多。
参考资料来源：百度百科-Python

8. 数据清洗的内容有哪些