数据清洗技巧全解析
1. 结构化与非结构化数据集
数据来源广泛，如实证研究、历史研究或记录保存等。在数据整合过程中，由于人为因素，数据集难免会存在一些小瑕疵。通常，数据格式可分为结构化和非结构化两类。
结构化数据是指布局有一定组织性的原始数据，常见的结构化数据格式包括关系型或层次型数据库、CSV、XML、JSON 和 YAML 文件等。其特点是数据组织成软件能够理解的模式（即可机器读取），并且符合元数据文档中设定的标准。例如，一个包含员工信息的 CSV 文件，每列代表一个属性（如姓名、年龄、职位等），每行代表一个员工记录，这就是典型的结构化数据。
非结构化数据则是指那些无法以一致的机器可读方式提取值的数据集。比如一段文本描述、音频文件中的语音内容、扫描图像中的字符、视频片段中的人物识别等，甚至是嵌入在非结构化数据中的结构化数据（如文本中包含的 CSV 文件片段）都属于非结构化数据。例如：“Nicknamed “The Wizard” for his defensive brilliance, Smith set major league records for career assists (8,375) and double plays (1,590) by a shortstop” 就是非结构化数据。
数据处理中，数据挖掘与模式识别有所不同。模式识别旨在为非结构化数据定义结构，虽然有很多成功的技术，但存在一定的误差率。而数据挖掘则假设数据结构不是问题的关键，更关注对数据的分析和解读。
2. 创建自己的结构化数据
如果数据来源是非结构化或根本不存在，可按以下步骤创建结构化数据集：
1.
