文章目录一. Spark入门二. Spark RDD与 Spark core三. Spark SQL四. Spark Streaming五. Spark内核原理一. Spark入门Spark基础知识Spark部署模式、Spark运行流程【概述】spark一:spark特点、知识范畴、spark架构、任务提交流程、支持哪些运行环境二. Spark RDD与 Spark coreRDD基础常用的RDD算子RDD函数传递RDD依赖关系RDD缓存与检查点数据的存储与读取RDD编程进阶【理论】spark 二spark core之RDD基础概念、特点、stage任务划分与hello spark【算子1】spark三spark coretrans算子中value类型的算子使用说明【算子2】spark四spark coretrans算子中key-value类型的算子使用说明【算子3】spark五spark core控制算子cache、persist、action算子和检查点【变量】spark六变量共享累加器和广播变量三. Spark SQLSpark SQL基础Spark SQL创建RDD DataFrame DataSet转换IDEA创建Spark SQL程序用户自定义函数Spark SQL数据源【spark sql】spark八sparkSQL概述dataFrame、DataSet、UDF、SparkSQL数据源四. Spark Streaming基本介绍WordCount案例实操DStream创建从Kafka中采集数据DStream转换window函数【spark streaming】spark九Spark Streaming Programming Guide概述、wordcount、数据源、trans常见算子、window、输出源五. Spark内核原理【shuffle/内存模型】spark七超详细mareduce shuffle和spark Shuffle讲解、以及spark比mapreduce快在哪些方面