2分钟教你读懂Hadoop和Spark的区别

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。

3 R) K* H# k% R3 o9 `

• 解决问题的层面不一样
  首要，Hadoop和Apache Spark两者都是大数据框架，可是各自存在的意图不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将无穷的数据集分派到一个由一般计算机构成的集群中的多个节点进行存储，意味着您不需求采购和保护贵重的服务器硬件。
  一同，Hadoop还会索引和盯梢这些数据，让大数据处理和剖析功率到达史无前例的高度。Spark，则是那么一个专门用来对那些分布式存储的大数据进行处理的东西，它并不会进行分布式数据的存储。
  两者可合可分
  Hadoop除了供给为咱们所一致的HDFS分布式数据存储功用之外，还供给了叫做MapReduce的数据处理功用。所以这儿咱们完全能够抛开Spark，运用Hadoop本身的MapReduce来完结数据的处理。
  相反，Spark也不是非要依附在Hadoop身上才干生计。但如上所述，毕竟它没有供给文件办理体系，所以，它有必要和别的的分布式文件体系进行集成才干运作。这儿咱们能够挑选Hadoop的HDFS,也能够挑选别的的根据云的数据体系渠道。但Spark默许来说仍是被用在Hadoop上面的，毕竟，咱们都以为它们的联系是最佳的。
  以下是从网上摘抄的对MapReduce的最简洁明了的解析:
  咱们要数图书馆中的一切书。你数1号书架，我数2号书架。这即是“Map”。咱们人越多，数书就更快。
  如今咱们到一同，把一切人的统计数加在一同。这即是“Reduce”。
  Spark数据处理速度秒杀MapReduce
  Spark由于其处理数据的方法不一样，会比MapReduce快上许多。MapReduce是分步对数据进行处理的: ”从集群中读取数据，进行一次处理，将成果写到集群，从集群中读取更新后的数据，进行下一次的处理，将成果写到集群，等等…“ Booz Allen Hamilton的数据科学家Kirk Borne如此解析。
  反观Spark，它会在内存中以挨近“实时”的时刻完结一切的数据剖析：“从集群中读取数据，完结一切有必要的剖析处理，将成果写回集群，完结，”Born说道。Spark的批处理速度比MapReduce快近10倍，内存中的数据剖析速度则快近100倍。
  假如需求处理的数据和成果需求大多数情况下是静态的，且你也有耐性等候批处理的完结的话，MapReduce的处理方法也是完全能够接受的。
  但假如你需求对流数据进行剖析，比方那些来自于工厂的传感器收集回来的数据，又或者说你的使用是需求多重数据处理的，那么你或许更应该运用Spark进行处理。
  大多数机器学习算法都是需求多重数据处理的。此外，通常会用到Spark的使用场景有以下方面：实时的商场活动，在线商品引荐，网络安全剖析，机器日记监控等。
  灾祸康复
  两者的灾祸康复方法迥异，可是都很不错。由于Hadoop将每次处理后的数据都写入到磁盘上，所以其天然生成就能很有弹性的对体系过错进行处理。
  Spark的数据目标存储在分布于数据集群中的叫做弹性分布式数据集(RDD: Resilient Distributed Dataset)中。“这些数据目标既能够放在内存，也能够放在磁盘，所以RDD同样也能够供给完结的灾祸康复功用，”Borne指出。
  资料来自网络
  
  

% L' v, a( I, a/ C; n