400-616-5551

您所在位置: 首页> 学习课程> 大数据培训 | 大数据篇-Hadoop框架详解

大数据培训 | 大数据篇-Hadoop框架详解

发布百知教育 来源:学习课程 2019-10-29

在前面文章中对大数据的基本概念及特性和hadoop生态圈的常用组件进行了简单的介绍,从本篇开始我们就要真正开始学习框架内容及使用操作了,你准备好了吗?


一、 概述


Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架,它实现了 Map/Reduce 计算模型。借助于 Hadoop, 程序员可以轻松地编写分布式并行程序,将其运行于计算机集群上,完成海量数据的计算。


大数据培训

二、 优势


(1)可靠性:HDFS有高容错的特性,并且采用存储冗余数据的方式

(2)高效性:采用MapReduce来整合分析HDFS中的数据

(3)成本低:基于java语言开发,可以运行于低廉的计算机集群中

(4)运行于linux平台

(5)支持多种编程语言


三、 Hadoop体系结构


HDFS和MapReduce是Hadoop的两大核心。最底部的是Hadoop分布式文件系统(HDFS),它存储 Hadoop集群中所有存储节点上的文件。并且它会通过MapReduce 来实现对分布式并行任务处理的程序支持。HDFS的上一层是MapReduce计算引擎,该引擎由 JobTrackers 和 TaskTrackers 组成,MapReduce 在集群上实现了分布式计算和任务处理,二者相互作用,完成了Hadoop分布式集群的主要任务。(从Hadoop2.X版本又从MapReduce中分离出了Yarn组件,由yarn进行资源调度,而mapreduce则专注于进行分析计算)


四、 HDFS体系结构


一个HDFS集群是由一个NameNode节点和若干个DataNode节点组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。HDFS 允许用户以文件的形式存储数据。从内部来看,文件被分成若干个数据块,而且这若干个数据块存放在一组DataNode上。下图给出了HDFS 的体系结构。


五、 MapReduce体系结构


MapReduce是一种并行编程模式,这种模式使得软件开发者可以轻松地编写出分布式并行程序。在Hadoop的体系结构中,MapReduce是一个简单易用的软件框架,基于它可以将任务分发到由上千台商用机器组成的集群上,并以一种高容错的方式并行处理大量的数据集,实现Hadoop的并行任务处理功能。


MapReduce框架是由一个单独运行在主节点上的JobTracker 和运行在每个集群从节点上的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务,这些任务分布在不同的从节点上。主节点监控它们的执行情况,并且重新执行之前失败的任务;从节点仅负责由主节点指派的任务。当一个Job 被提交时,JobTracker接收到提交作业和配置信息之后,就会将配置信息等分发给从节点,同时调度任务并监控TaskTracker的执行。下图描述了mapreduce作业的执行过程:


六、 HDFS与分布式开发


Hadoop上的并行应用程序开发是基于MapReduce 编程框架的。MapReduce 编程模型的原理是:利用一个输入的key/value 对集合来产生一个输出的key/value 对集合。MapReduce库的用户用两个函数来表达这个计算:Map 和Reduce。用户自定义的map函数接收一个输入的key/value 对,然后产生一个中间key/value 对的集合。MapReduce 把所有具有相同key 值的value 集合在一起,然后传递给reduce 函数。用户自定义的reduce 函数接收key 和相关的value 集合。reduce 函数合并这些value 值,形成一个较小的value 集合。一般来说,每次reduce 函数调用只产生0 或1 个输出的value值。通常我们通过一个迭代器把中间的value 值提供给reduce 函数,这样就可以处理无法全部放入内存中的大量的value 值集合了。


大数据培训


或者大家可以看这张图,就比较容易理解了(map过程就是进行原材料加工处理的过程,reduce过程就是进行组合拼装最后得出成品的过程),如果现在不理解也没关系,后边在集群上跑MapReduce任务时会再根据代码详细去讲。


以上就是本篇中关于Hadoop框架的内容分析,可能大家看了还是感觉不太清晰,不过没关系,由单机转向分布式,思维上要逐渐转变。


大数据培训:http://www.baizhiedu.com/bigdata2019




上一篇:大数据培训 | 纯干货!埃森哲的大数据分析框架分享

下一篇:应届生去公司找个Java程序员的职位需要什么技能?

相关推荐

www.baizhiedu.com

有位老师想和您聊一聊

关闭

立即申请