一文看齐，主流大数据技术总结（下）

前文见 :point_right: ：


一文看齐，主流大数据技术总结（上）

计算引擎

计算引擎目前主流的两个开源组件分别是 Spark 和 Flink。从两个引擎的处理模型来看，Spark 的批处理更为高效，Flink 则善于流处理，尽管两者都向着流批一体化的方向发展。当然，只要对弱项做优化还是可以跟另一方未做太多优化的强项比的，只是实现难度大些和效果上限可能略低。比如 Blink，阿里内部的 Flink，其 ML 模块经过优化，在大部分常用模型的计算效率都能高于开源的 Spark 的。如果开源 Spark 也经过阿里那样深度的优化，两者的差距就难说了。

简单提一下他们的特点

• 适合：大批量数据的灵活计算，包括关联、机器学习、图计算、实时计算等。
• 不适合：小量数据的交互式计算。

Spark

下面首先介绍 Spark，它是一个用于大规模数据处理的统一分析引擎，其内部主要由 Scala 实现。Spark 当初引起关注主要是它与 Hadoop 的三大件之一的 MapReduce 之间的比较。Hadoop 的三大组件包括 HDFS、Yarn 和 MapReduce。他们三个都是可以拆分开来单独使用的。比如 Yarn 作为资源调度系统，传统 Spark 和 Flink 都会借助它的功能实现任务的调度。而 MapReduce 作为计算引擎，其计算速度当时是弱于 Spark 的，主要是 Spark 减少了不必要的磁盘IO；增加迭代计算功能，从而更好支持机器学习；引入了一些自动优化功能。另外，Spark 广泛的语言支持、API 更强的表达能力等优点都让 Spark 在当时的离线计算领域中超越 MapReduce。

功能丰富

4大场景：Spark 的高层组件包括Spark SQL、Spark Streaming、Spark ML、GraphX。他们都是通过底层组件为 Spark Core 实现具体功能的。但是在使用 Spark 的时候，尽量是不要使用 Spark Core，因为高层组件的产生的 Spark Core一般会更高效，因为Spark做了不少优化，具体后面再说。

多种语言：支持 Java、Python、R 和 Scala 来编写应用代码。

多种部署模式：本地、独立部署、Mesos、Yarn、K8S

多种数据源：HDFS、HBase、Hive、Cassandra、Kafka等

架构原理

Driver 是启动 Spark 作业的JVM进程，它会运行作业（Application）里的main函数，并创建 SparkContext 对象。这个 SparkContext 里面包含这次 Spark 计算的各种配置信息。Spark 通过它实现与 Cluster Manager 通信来申请计算资源。这里的 Cluster Manager，在生产环境一般是 Mesos、Yarn 或者 K8s。这些 Manager 根据其管理的集群情况，给这个 Spark 任务分配相应的容器container，在容器中启动 executor 进程。这些启动后的 executor 会向 Driver 注册，之后 Driver 就可以把它根据用户计算代码生成出的计算任务task发送给这些 executor 执行。计算结束后，结果可能输出到 Driver，也可能输出到当前 executor 的磁盘，或者其他存储。

作业例子

object SparkSQLExample {


def main(args: Array[String]): Unit = {


    // 创建 SparkSession，里面包含 sparkcontext


    val spark = SparkSession


      .builder()


      .appName("Spark SQL basic example")


      .getOrCreate()


import spark.implicits._


    // 读取数据


    val df1 = spark.read.load("path1...")


    val df2 = spark.read.load("path2...")


    // 注册表


    df1.createOrReplaceTempView("tb1")


    df2.createOrReplaceTempView("tb2")


    // sql


    val joinedDF = sql(


"""


        |select tb1.id, tb2.field


        |from tb1 inner join tb2


        |on tb1.id = tb2.id


      """.stripMargin)


    // driver 终端显示结果


    joinedDF.show()


    // 退出 spark


    spark.stop()


  }


}

SQL会经过一层层的解析然后生成对应的 Java 代码来执行。

计算引擎的优势

与 HBase、 es 和传统数据库查询比较，计算引擎的优势：1）数据量大时速度快，2）计算更加灵活。

以大数据关联为例：

• 文档型数据库：大部分都不支持关联，因为效率低。关联基本都要全文档扫描。因为文档是 schemaless 的，并不确定某个文档是否有关联所需字段。而且个文档的读取都是整个对象的读取，并不会只读某个字段来减少内存开销。另外，这两个组件在内存中本身就有各自的数据结构来服务读写，所以额外的内存用于这类大开销计算也是不现实的。因此，HBase 本身只支持简单的过滤，不支持关联。ES 即便支持过滤、聚合，但依然不支持关联。
• 传统关系型数据库：可以完成较大数据关联，然而效率低，这主要是受到其大量的磁盘 IO、自身服务（读写、事务等、数据同步）的干扰。在真正大数据情况下，这关联还涉及数据在不同机器的移动，数据库需要维持其数据结构，如 BTree，数据的移动效率较低。
• 计算引擎：
• 基于内存：计算引擎留有大量内存空间专门用于计算，尽量减少磁盘 IO。
• 计算并行化
• 算法优化

具体而言，Spark 提供了三种 Join 执行策略：

• BroadcastJoin：当一个大表和一个小表进行Join操作时，为了避免数据的Shuffle，可以将小表的全部数据分发到每个节点上。算法复杂度：O(n).
• ShuffledHashJoinExec：先对两个表进行hash shuffle，然后把小表变成map完全存储到内存，最后进行join。算法复杂度：O(n)。不适合两个表都很大的情况，因为其中一个表的hash部分要全部放到内存。
• SortMergeJoinExec：先hash shuffle将两表数据数据相同key的分到同一个分区，然后sort，最后join。由于排序的特性，每次处理完一条记录后只需要从上一次结束的位置开始继续查找。算法复杂度：O(nlogn)，主要来源于排序。适合大表join大表。之所以适合大表，是因为 join 阶段，可以只读取一部分数据到内存，但其中一块遍历完了，再把下一块加载到内存，这样关联的量就能突破内存限制了。

从上面的例子可以看出计算引擎相比于其他组件在计算方面的优势。

数据流动

下面通过一张图，从另一个角度了解 Spark 的运作。

这是一张简单的数据流程图。描述了一个 WorkCount 的数据流向。其主要代码如下：

// 假设每个 block 里的数据如下


// a


// b


// a


val textFile = sc.textFile("hdfs://...")


val counts = textFile.map(word => (word, 1)) // a -> 


                 .reduceByKey(_ + _) // <a,> -> 


counts.saveAsTextFile("hdfs://...")

• 再谈 HBase 八大应用场景：https://cloud.tencent.com/developer/article/1369824
• Elasticsearch读写原理：https://blog.csdn.net/laoyang360/article/details/103545432
• ES文章集：https://me.csdn.net/wojiushiwo987
• MySQL和Lucene索引对比分析：https://www.cnblogs.com/luxiaoxun/p/5452502.html

• 深入浅出理解 Spark：环境部署与工作原理：
  https://mp.weixin.qq.com/s/IdrX4Hh1HQaJZx-VnB7XsQ

文档：

• ES官方文档：https://www.elastic.co/guide/index.html
• Spark官方文档：http://spark.apache.org/docs/latest/
• Flink官方文档：https://flink.apache.org/

分享：

• 基于Flink的高性能机器学习算法库 https://www.bilibili.com/video/av57447841?p=4
• “Redefining Computation” https://www.bilibili.com/video/av42325467?p=3
• Flink 实时数仓的应用 https://www.bilibili.com/video/av66782142
• Flink runtime 核心机制剖析 https://www.bilibili.com/video/av42427050?p=4

• 小红书大数据在推荐中的应用 
  https://mp.weixin.qq.com/s/o7JM7DDkUNuGZEGKBtAmIw

• TensorFlow 与 Apache Flink 的结合 https://www.bilibili.com/video/av60808586/