4.2.1 Spark SQL数据源 - 初探默认数据源格式

本节实战围绕 Spark SQL 的默认数据源格式展开核心是理解当未显式指定.format()时Spark 如何默认使用 Parquet。首先介绍了spark.sql.sources.default配置项及其在spark-defaults.conf中的设置方法。随后通过一系列命令演示了完整的端到端流程从查看和上传已有的users.parquet示例文件到 HDFS到在 Spark Shell 中使用spark.read.load()无.format()成功读取该 Parquet 文件并展示其 Schema 和内容再到使用df.write.save()无.format()将其以 Parquet 格式写出。课堂练习部分则引导用户将文本文件student.txt通过 Scala 代码手动处理成 DataFrame 并保存为student.parquet再读取验证最后还在 IntelliJ IDEA 中创建了一个完整的 Maven Scala 项目通过编程方式读取 Parquet 文件、执行 SQL 过滤并保存结果全面展示了 Parquet 作为默认格式的读写实践。