|
|
51CTO旗下网站
|
|
移动端

3.4.2 Hadoop架构

《走近云计算》第3章云端漫步,本章将对云计算的基本原理、如何兴起、当前发展状况、有什么优点、云计算模式下网络充当什么角色、云计算的架构、典型云计算平台的介绍、云计算有哪些类型的应用、云计算对我们有什么影响等方面逐一介绍。本节为大家介绍Hadoop架构。

作者:王鹏来源:人民邮电出版社|2009-07-30 23:49

3.4.2  Hadoop架构

在Google发表MapReduce后,2004年开源社群用Java搭建出一套Hadoop框架,用于实现MapReduce 算法,能够把应用程序分割成许多很小的工作单元,每个单元可以在任何集群节点上执行或重复执行。

此外,Hadoop 还提供一个分布式文件系统GFS(Google file system),是一个可扩展、结构化、具备日志的分布式文件系统,支持大型、分布式大数据量的读写操作,其容错性较强。

而分布式数据库(BigTable)是一个有序、稀疏、多维度的映射表,有良好的伸缩性和高可用性,用来将数据存储或部署到各个计算节点上。 Hadoop 框架具有高容错性及对数据读写的高吞吐率,能自动处理失败节点,如图3-5所示为Google Hadoop架构。

在架构中MapReduce API提供Map和Reduce处理、GFS分布式文件系统和BigTable分布式数据库提供数据存取。基于Hadoop可以非常轻松和方便完成处理海量数据的分布式并行程序,并运行于大规模集群上。

 
图3-5  Google  Hadoop架构
【责任编辑:云霞 TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

我的运维日志系统构建之路

我的运维日志系统构建之路

数据驱动运维
共18章 | 我叫于小炳

191人订阅学习

CentOS文件服务的最佳实战

CentOS文件服务的最佳实战

涨薪跳槽必备技能
共15章 | 追风蚂蚁

88人订阅学习

小白网工宝典

小白网工宝典

一次搞定思科华为
共15章 | 思科小牛

431人订阅学习

读 书 +更多

超级网管员——网络应用

本书全面、深入地介绍了网络应用技术,主要内容包括:RMS权限管理服务、Exchange邮件服务、LCS即时消息服务、WSUS系统更新服务、Symantec网...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客