PySpark ETL Best Practices
提供PySpark ETL任务的最佳实践指导与代码示例
安装使用
复制下面这段提示词发给你的 AI（Claude / Cursor / TRAE / Codex / WorkBuddy 等），它会自动帮你完成安装：
帮我安装这个 AI Skill：PySpark ETL Best Practices。 它的用途是：提供PySpark ETL任务的最佳实践指导与代码示例 详细介绍见：https://321skill.com/skills/pyspark-etl-best-practices/ 请根据该页面的说明完成安装。
使用示例
“我的PySpark作业在GroupBy之后写入很慢，有什么优化建议？” 它会分析可能的原因，如分区数不合理或Shuffle写放大，并提供调整输出分区数、使用合适的文件格式（如Parquet）并启用动态分区等具体代码示例和配置。或者，你可以说：“给我一个读取CSV、进行数据清洗并写入Parquet的标准PySpark ETL代码结构。” 它会输出一个包含错误处理、缓存策略和广播变量使用建议的模板代码。
介绍
本Skill旨在解决数据工程师在使用PySpark进行ETL（提取、转换、加载）开发时遇到的效率低下、代码质量参差不齐、性能不佳等常见问题。它通过提供一系列经过验证的最佳实践模式、代码片段和架构建议，帮助开发者构建健壮、高效且易于维护的数据处理管道。
使用时，你可以直接查询特定场景下的最佳实践，例如如何优化Shuffle操作、管理分区或处理数据倾斜。Skill会提供具体的代码示例、配置建议和原理说明，你可以将这些内容直接应用到自己的项目中，或作为代码审查的参考标准。
它非常适合正在或计划使用PySpark进行大规模数据处理的数据工程师、数据分析师以及后端开发人员。无论是处理日常的业务数据集，还是进行复杂的趋势分析与数据清洗，都能从中获得提升代码质量和执行效率的实用指导。
建议在项目初期设计数据管道架构时，或在对现有ETL作业进行性能调优和重构时使用本Skill。请注意，它提供的是通用性指导，具体应用时仍需结合自身业务逻辑、数据规模和集群环境进行调整和验证。
核心特点
与通用PySpark教程不同，它专注于ETL场景下的实战痛点，提供了大量可直接复用的优化模式与避坑指南；相较于零散的代码片段，它系统性地涵盖了从数据读取、转换、写入到性能调优的全流程最佳实践。
注意事项
不适合需要处理实时流数据或使用非Spark生态（如Flink）的ETL场景，且主要面向已有一定PySpark基础的开发者。
常见问题
如何用这个Skill优化我的PySpark作业性能？
你可以询问特定性能问题的解决方案，例如“如何避免数据倾斜”或“如何优化Join操作”，Skill会提供针对性的代码改写建议和配置参数。
它能帮我写完整的ETL脚本吗？
它可以提供关键环节的代码模板和最佳实践片段，并指导你如何组织代码结构，但完整的脚本需要你结合具体业务逻辑进行组装和填充。