Works with the AI Agents you already use

    Claude CodeClaude CodeCursorCursorCodex CLICodex CLIMuseMuseDotsDots+21 more

    CSV Data Cleaning Engine

    1

    Data quality diagnosis, dedup strategies, format standardization, anomaly handling, batch processing.

    Free

    6 usesSecurity scanned

    CSV Data Cleaning Engine

    Example session with this skill installed

    Help with csv

    • Read your context and instructions
    • Compiled the csv data cleaning

    CSV Data Cleaning Engine

    Structured analysis with routing and next steps.

    Connects securely to your tools. The creator never sees your data.

    About this skill


    name: csv-data-cleaning-engine description: CSV数据清洗与格式化专家决策引擎。提供数据质量诊断、去重策略(精确/模糊/规则)、格式标准化(日期/金额/编码)、异常值处理、批量处理方案、质量门控清单、常见错误模式。当用户需要CSV数据清洗、去重、格式化、数据整理、Excel数据处理、Pandas数据清洗时使用此技能。

    CSV数据清洗专家决策引擎

    触发条件

    当用户提到以下关键词时触发:CSV数据清洗、去重、格式化、数据整理、Excel数据处理、Pandas数据清洗、数据质量诊断、异常值处理、批量数据清洗

    1. 数据质量诊断(5维度评估)

    维度定义诊断指标工具
    完整性数据是否有缺失缺失率/字段空值率df.isnull().sum() / df.info()
    一致性同一实体在不同记录中是否一致矛盾记录数/格式不统一数df.duplicated() / 正则校验
    准确性数据是否反映真实值异常值数量/逻辑矛盾数IQR/Z-score/业务规则校验
    时效性数据是否过时超期记录占比日期字段与当前时间比对
    唯一性是否存在重复记录重复率/近似重复率精确去重/模糊匹配

    快速诊断脚本模板:

    2. 去重策略决策树

    模糊去重示例:

    3. 格式标准化

    3.1 日期标准化

    3.2 金额标准化

    3.3 编码处理

    3.4 电话号码标准化

    4. 异常值处理

    方法适用场景实现方式注意事项
    IQR法数值型、近似正态分布Q1-1.5IQR ~ Q3+1.5IQR对偏态分布不友好
    Z-score正态分布数值|z| > 3 判为异常样本量需≥30
    业务规则有明确业务逻辑价格<0、年龄>150等需要领域知识

    5. 工具选型决策

    场景PandasPolarsDuckDB
    数据量 <1GB✅ 首选✅ 更快—
    数据量 1-10GB⚠️ 需分块✅ 首选✅ 首选
    数据量 >10GB❌ OOM风险✅ 可处理✅ 首选
    SQL技能强——✅ 首选
    需要复杂转换✅ 生态最全✅ 表达式强⚠️ 有限
    并行处理❌ 单线程✅ 自动并行✅ 向量化

    Python 3.14注意:PEP 779正式支持自由线程(去除GIL),Pandas/Polars可直接受益于多线程,但单线程性能损耗约10-15%,内存增加约20%。

    6. 批量处理方案

    6.1 分块读取

    6.2 内存优化

    7. 质量门控

    P0 阻塞级(必须修复)

    • 数据缺失率 >50% 的关键字段
    • 去重后行数变化 >30%(可能有系统性重复)
    • 编码错误导致乱码
    • 金额/日期字段无法解析

    P1 警告级(建议修复)

    • 个别列缺失率 10-50%
    • 异常值占比 >5%
    • 格式不完全统一(如日期混用/-
    • 数据类型推断不一致

    P2 提示级(可选优化)

    • 内存使用 >500MB(建议优化dtypes)
    • 列名含空格或特殊字符
    • 存在完全为空的行/列
    • 数值精度过高(>6位小数)

    8. 常见错误(Top 10)

    #错误症状解决方案
    1BOM头导致首列解析失败列名带\ufeff前缀encoding='utf-8-sig'读取
    2编码混用部分行乱码chardet逐块检测+统一转UTF-8
    3日期格式不一致2024/1/1和2024-01-01混存pd.to_datetime(errors='coerce')
    4金额科学计数法1.23E+05先转字符串再转数值
    5隐形空白字符去重失败/匹配不上str.strip() + str.replace('\xa0','')
    6数字被读为字符串列含"1,234"或"N/A"pd.to_numeric(errors='coerce')
    7换行符在字段内CSV解析错位quoting=csv.QUOTE_ALL
    8重复表头列名出现两次df[df[col] != col]过滤
    9NULL vs 空字符串混淆缺失值统计不准统一为np.nan再处理
    10大文件内存溢出OOM分块读取+Polars/DuckDB

    9. 输出格式

    清洗完成后输出:

    1. 清洗报告:原始行数→清洗后行数,各步骤处理行数,异常值统计
    2. 处理后的CSV文件:UTF-8编码(无BOM),标准日期格式,数值精度合理
    3. 问题记录:无法自动处理的行单独列出,供人工审核

    10. 2026平台实战洞察

    UUMit任务实战要点

    • CSV整理任务(51UT)是高频需求,用户通常需要:去重+格式标准化+空值处理一站式完成
    • Word模板任务常与CSV配套,清洗后的数据需可直接导入Word邮件合并
    • 交付物必须包含清洗报告,让用户理解每步处理了什么

    自媒体数据清洗场景

    • 抖音/小红书导出的评论数据:emoji编码、@用户名、HTML实体需清理
    • 电商订单数据:地址标准化、手机号去重、金额汇总
    • 问卷数据:开放题清洗、量表题反向计分

    六、Pandas数据清洗实战代码库

    6.1 数据质量一键诊断

    6.2 智能去重(精确+模糊+规则)

    6.3 日期格式标准化

    6.4 金额格式标准化

    6.5 批量处理大数据文件

    七、常见数据清洗场景速查

    场景问题解决方案关键代码
    手机号清洗格式不统一(含+86/空格/-)正则统一为11位re.sub(r'[^\d]', '', s)[-11:]
    身份证校验15位/18位/含X长度+校验位验证len(s) in [15,18] and check_digit(s)
    地址标准化省/市/区/详细地址混乱分列+字典映射df['地址'].str.extract(r'(.+省)(.+市)(.+区)')
    编码统一UTF-8/GBK/GB2312混用chardet检测+统一转码pd.read_csv(f, encoding=chardet.detect(raw)['encoding'])
    合并单元格Excel合并导致NaNffill填充+重新对齐df.fillna(method='ffill')
    多Sheet合并多个Sheet需纵向拼接循环读取+标识来源pd.concat([pd.read_excel(f, sheet_name=s) for s in sheets])
    JSON字段展开列中含JSON字符串json_normalize展开pd.json_normalize(df['json_col'].apply(json.loads))
    重复列名CSV有重复列名rename+序号标记df.columns = pd.io.parsers.base_parser.ParserBase._maybe_dedup_names(df.columns)

    八、2026数据清洗洞察

    • AI辅助清洗:GPT-4/Claude可直接理解清洗意图,生成Pandas代码,效率提升5-10倍
    • 自动化数据质量监控:Great Expectations + Airflow实现数据管道质量门控
    • Polars替代Pandas:大数据场景(>1GB)Polars性能比Pandas快5-20倍
    • DuckDB直接查询CSV:无需加载到内存,直接SQL查询本地CSV文件
    • 实时数据清洗:流式处理(Flink/Kafka)替代批量ETL,延迟降至秒级

    九、数据清洗高级技巧

    9.1 正则表达式深度应用

    9.2 数据类型自动推断

    9.3 条件筛选与过滤


    十、数据验证与质量报告

    10.1 Great Expectations 集成

    10.2 业务规则验证


    十一、大数据处理方案

    11.1 Polars 高性能处理

    11.2 DuckDB SQL查询

    11.3 分区处理策略


    十二、数据清洗SOP

    SOP-1: 通用数据清洗流程

    阶段步骤操作工具/代码
    1.加载数据1.1 检测编码自动检测文件编码chardet
    1.加载数据1.2 读取文件读取CSV/Excelpd.read_csv/read_excel
    1.加载数据1.3 数据预览查看前几行和数据类型df.head(), df.info()
    2.数据诊断2.1 缺失值分析统计各列缺失情况df.isnull().sum()
    2.数据诊断2.2 重复值分析检测重复行df.duplicated().sum()
    2.数据诊断2.3 数据类型检查验证列类型df.dtypes
    2.数据诊断2.4 异常值检测IQR/Z-score分析自定义函数
    3.清洗处理3.1 缺失值处理删除/填充/插值df.fillna()/dropna()
    3.清洗处理3.2 去重处理删除重复行df.drop_duplicates()
    3.清洗处理3.3 格式标准化日期/金额/编码自定义函数
    3.清洗处理3.4 异常值处理替换/删除/标记自定义函数
    4.数据转换4.1 类型转换转为合适的数据类型astype()
    4.数据转换4.2 特征工程派生新列df.assign()
    4.数据转换4.3 数据归一化MinMax/Standardsklearn
    5.质量验证5.1 完整性检查确保无空值df.isnull().sum()
    5.质量验证5.2 一致性检查确保格式统一自定义检查
    5.质量验证5.3 业务规则验证逻辑正确性validator
    6.导出数据6.1 格式选择CSV/Parquet/Exceldf.to_csv/to_parquet
    6.导出数据6.2 编码设置UTF-8无BOMencoding参数
    6.导出数据6.3 索引处理是否保留索引index参数

    SOP-2: 电商订单数据清洗流程

    阶段步骤操作验证标准
    1.数据导入1.1 读取订单数据UTF-8编码读取行列数正确
    1.数据导入1.2 解析嵌套数据JSON展开字段完整
    2.字段清洗2.1 手机号清洗正则提取+标准化11位有效手机号
    2.字段清洗2.2 地址清洗省市区分离标准行政区划
    2.字段清洗2.3 金额清洗去除符号,保留小数两位小数
    2.字段清洗2.4 时间清洗标准化为datetimeYYYY-MM-DD HH:MM:SS
    3.数据校验3.1 订单号唯一性去重检查无重复订单号
    3.数据校验3.2 金额逻辑数量×单价=总价误差<0.01
    3.数据校验3.3 收货地址完整性非空检查省市区完整
    4.数据统计4.1 异常订单标记价格异常/数量异常flag字段
    4.数据统计4.2 订单状态标准化状态归一化标准状态值
    5.数据导出5.1 分区存储按日期分区Parquet格式
    5.数据导出5.2 生成报告清洗统计报告包含处理数量

    SOP-3: 用户数据清洗流程

    阶段步骤操作质量标准
    1.数据获取1.1 读取用户表多源数据合并字段对齐
    1.数据获取1.2 去重合并同用户多账号合并保留最新
    2.身份信息2.1 姓名清洗去除特殊字符纯中文/英文
    2.身份信息2.2 手机号清洗去重+标准化11位+86前缀
    2.身份信息2.3 邮箱清洗格式验证+小写有效邮箱格式
    2.身份信息2.4 身份证验证15/18位+校验位通过校验算法
    3.地址信息3.1 地址标准化省市区街道分离标准行政区划
    3.地址信息3.2 坐标补充地址转经纬度高德/百度API
    4.活跃分析4.1 注册时间标准化统一时区UTC+8
    4.活跃分析4.2 最后活跃计算计算时间差精确到天
    5.标签体系5.1 基础标签性别/年龄/地区标准枚举值
    5.标签体系5.2 行为标签RFM分析R/F/M分数
    5.标签体系5.3 偏好标签兴趣分析标签权重

    十三、30+常见错误模式

    #错误类型症状表现原因分析解决方案
    1BOM头乱码首列名带\ufeffUTF-8 with BOMencoding='utf-8-sig'
    2编码检测失败读取后全是Nonechardet置信度低手动指定编码
    3日期格式不一致2024/1/1与2024-01-01多源数据混用pd.to_datetime统一
    4科学计数法1.23E+05显示Excel自动转换读取时指定dtype
    5隐形空格去重失效/匹配不上字符串首尾空格strip()清理
    6数字字符串"1,234"被当作文本含逗号的数字str.replace(',','')
    7空字符串陷阱isna()检测不到空串≠NaNreplace('',np.nan)
    8换行符在字段内CSV解析错位字段内含\nquoting参数
    9重复表头行列名重复出现首行非表头跳过首行
    10大文件OOMMemoryError一次性加载分块读取
    11时区混乱时间差8小时UTC与本地时差统一时区
    12精度丢失浮点数比较失败float精度问题Decimal类型
    13索引混乱iloc与loc混用出错索引被修改重置索引
    14列类型不一致merge后类型改变object+int转换统一类型
    15中文编码问题写入后乱码系统默认编码utf-8编码
    16缺失值填充陷阱填充后均值变小填充值影响统计先分析再填充
    17字符串大小写匹配失败大小写不一致str.lower()统一
    18特殊字符未转义CSV格式错误逗号/引号未转义quoting
    19日期边界错误月末日期计算错月份天数不同使用dateutil
    20JSON嵌套解析展开后数据丢失嵌套层级过深jsonpath提取
    21Excel日期转换数字变成日期Excel日期序列转换为天数
    22合并冲突merge后行数暴增一对多关系检查重复键
    23列名空格df[' 列']找不到列名含空格strip列名
    24NaN参与运算sum结果偏小NaN+number=NaNskipna=True
    25布尔值混淆True变成1dtype=bool保持object类型
    26分组聚合丢失某组数据消失分组键含NaNfillna处理
    27时间戳误解秒当毫秒用单位不一致统一单位
    28浮点比较0.1+0.2≠0.3浮点精度问题math.isclose()
    29类型推断失败整列变NaN含有异常值errors='coerce'
    30内存泄漏df越来越大循环中未释放del+gc.collect
    31分块处理丢失部分数据丢失offset计算错验证总行数
    32正则性能问题处理超时贪婪匹配/回溯优化正则表达式

    十四、质量门控体系(三级清单)

    P0 级:阻塞性问题(必须修复)

    检查项验收标准检测方法修复方案
    关键字段缺失缺失率 < 5%df[col].isnull().mean()删除或填充
    重复行比例< 1%df.duplicated().mean()drop_duplicates
    编码错误无乱码chardet检测重新指定编码
    数值解析失败全部可解析pd.to_numeric(errors='coerce')清理格式
    日期解析失败> 90%可解析pd.to_datetime校验标准化格式

    P1 级:功能性问题(建议修复)

    检查项验收标准检测方法修复方案
    非关键字段缺失缺失率 < 30%缺失率统计填充或标记
    异常值比例< 5%IQR/Z-score检测标记或调整
    格式一致性> 90%统一正则校验标准化处理
    数据类型正确性类型推断准确dtype验证类型转换
    唯一性约束ID/手机等唯一duplicated检测去重或合并

    P2 级:体验优化项(可选修复)

    检查项验收标准检测方法修复方案
    内存占用< 500MBmemory_usagedtype优化
    处理速度< 10秒/GBtime.time()并行处理
    列名规范性无空格/特殊字符列名校验rename
    数据完整性> 95%有效业务规则验证补充数据
    可追溯性保留清洗日志记录处理步骤生成报告

    十五、2026年数据清洗趋势

    15.1 AI辅助数据清洗

    技术说明工具
    自然语言清洗用自然语言描述清洗规则GPT-4/Claude
    自动模式识别AI识别数据模式并清洗cleanlab
    智能填充基于历史数据智能填充空值miceforest
    异常检测无监督异常检测PyOD

    15.2 实时数据处理

    技术说明场景
    流处理Flink/Kafka实时清洗日志/传感器
    CDC变更数据捕获数据库同步
    事件驱动事件触发清洗任务实时报表

    15.3 新兴数据格式

    格式优势适用场景
    Parquet列式存储/压缩率高大数据分析
    Arrow零拷贝读取Python生态
    Delta LakeACID事务/版本控制数据湖
    Iceberg大表支持/时间旅行大数据湖

    15.4 自动化工具链

    • Apache DolphinScheduler: 工作流调度
    • Airflow: 数据管道编排
    • Great Expectations: 数据质量监控
    • dbt: 数据转换工具
    • Datafold: 数据差异检测

    十六、高级数据转换技术

    16.1 数据透视与逆透视

    16.2 时间序列处理

    16.3 文本数据处理


    十七、数据库交互与SQL

    17.1 SQL查询构建器

    17.2 数据迁移工具


    十八、性能优化与最佳实践

    18.1 内存优化技巧

    18.2 并行处理


    十九、完整项目模板

    19.1 数据清洗项目结构

    19.2 清洗配置文件模板


    二十、实战案例集

    案例1:电商订单数据清洗

    步骤操作验证
    1读取订单CSV (100万行)行列数正确
    2展开JSON字段 (items)订单商品明细完整
    3清洗手机号 (正则+标准化)11位有效手机
    4分离收货地址 (省市区)标准行政区划
    5清洗金额 (去符号+小数位)两位小数
    6标准化时间 (统一时区)UTC+8
    7订单号去重无重复订单
    8金额逻辑校验数量×单价=总价
    9导出Parquet文件正常

    案例2:用户画像数据整合

    步骤操作工具
    1读取多源数据 (4个表)pandas
    2姓名清洗 (去除特殊字符)正则
    3手机号去重+标准化自定义函数
    4邮箱格式验证正则
    5身份证校验校验算法
    6地址结构化省市区分离
    7用户合并 (同一人多账号)merge
    8RFM分析分箱统计
    9导出用户画像表parquet

    案例3:日志数据处理

    步骤操作说明
    1按行读取日志文件分块读取
    2解析JSON格式日志json.loads
    3提取关键字段正则提取
    4时间戳标准化UTC转本地
    5IP地址解析geoip2
    6异常请求标记规则匹配
    7聚合统计groupby
    8导出统计报表Excel

    How to use

    1. 1

      Connect your agent to the Agensi MCP

      Copy the prompt and paste it into Claude, ChatGPT, Cursor or any agent that supports MCP. It sets up the connection for you. Manual setup

    2. 2

      Sign in to Agensi

      Your agent shows a sign-in link. Sign in and click Allow.

    3. 3

      Ask for what you need

      Your agent loads this skill and uses it on your task. It always asks before any payment.

    Reviews

    No reviews yet

    Be one of the first to try it. Every listed skill goes through the trust checks below.

    Security scanned

    Checked by our 8-point scan before listing

    6 uses

    Times used to date

    Free forever

    No account required to browse

    Trust & safety

    Security scan

    Security scan passed 5 months ago

    • Free with an Agensi account

    Permissions

    Read Files

    File Scopes

    csv-data-cleaning-engine/**

    No API needed

    Listed5 months ago

    What's inside

    Frequently Asked Questions

    Data quality diagnosis, dedup strategies, format standardization, anomaly handling, batch processing.

    No, works out of box.

    Decision routing, not generic advice.

    Yes, with quality checklists.

    New in Data & Databases