PySpark 中通用读取的力量：数据的统一方法

Source: Dev.to

如何进行通用读取？

语法简单直观：

df = spark.read.format("formato") \
    .option("opcao1", "valor1") \
    .option("opcao2", "valor2") \
    .load("caminho_dos_dados")

• option("chave", "valor")：允许自定义读取行为，例如：
  • header：指示第一行是否为标题行。
  • delimiter：指定文本文件中的列分隔符。
• load("caminho")：开始读取。路径可以是目录、特定文件，或像 HDFS、S3 这样的分布式文件系统路径。

统一方法的优势

• 灵活且可复用的代码
  一个接受格式参数的通用函数可以取代针对 CSV、Parquet 等的专用函数，使代码更加模块化、可扩展。

• 便于添加新数据源
  引入新格式时，只需在 formato 参数中添加相应选项；读取逻辑保持不变。

• 支持高级特性
  spark.read 允许利用 Delta Lake 的 Time Travel 功能，通过指定版本 (versionAsOf) 或时间戳 (timestampAsOf) 来访问表的历史状态，这对审计、数据重现和变更分析至关重要。

总之，PySpark 中的通用读取不仅是便利，更是一种设计原则，促进代码简洁、高效、稳健，简化数据管道，使团队能够统一处理日益增长的多种数据源。