|
|
51CTO旗下网站
|
|
移动端

1.1 什么是大数据平台

《大数据平台基础架构指南》第1章大数据平台整体建设思想,在本章中,为了避免分歧,我们首先会对本书上下文语境中所讨论的“大数据平台”这个概念做一个简单的阐述和背景铺垫。本节为大家介绍什么是大数据平台。

作者:刘旭晖来源:电子工业出版社|2018-11-11 10:40

第1章 大数据平台整体建设思想

在本章中,为了避免分歧,我们首先会对本书上下文语境中所讨论的“大数据平台”这个概念做一个简单的阐述和背景铺垫。接下来再继续讨论大数据平台的建设目标是什么,以及如何评估大数据平台的成熟度水平。然后会从大数据平台的整体建设指导思想和建设路径方法等角度,与大家一起探讨构建大数据平台的***实践问题。

1.1  什么是大数据平台

大数据平台这个名字,在本书将要讨论的内容语境中,如果换一个字面上看起来更加精确一点的名词来表达的话,也可以叫作大数据开发平台。顾名思义,它就是用于支撑大数据相关业务开发的平台。

不过,叫它开发平台,并不代表它只支持大数据相关业务的代码开发,事实上,业界用这个约定俗成的名字所指代的平台,除了提供狭义的代码开发功能,也需要提供一些从字面上看起来不那么像“开发”的功能,比如各种数据查询、展示、权限管理、集群管控等服务,根据各家公司具体平台定位的不同,还有可能包括一些数据内容类产品。

上述各类功能,除了数据内容类产品,剩下的绝大部分,从广义的角度来看,还是直接或间接地为了大数据业务开发工作顺利开展而存在的,是整体数据业务开发和对外服务环节的必要组成部分,本书中的主要内容也将围绕这些服务的构建来展开。后续本书统一用“大数据平台”这个名词来指代我们所描述的对象。

名词约定完毕,我们再来细看一下它指代的对象到底包括哪些内容。

从服务的角度来看,很显然,大数据平台应该要提供海量数据的存储、计算和查询展示功能,对于这一点,显然大家不会有太多的疑问。

但是,如何提供这些服务,上述服务就等同于大数据平台吗?是不是只要把各种开源组件拼凑起来,或者更简单一点,使用Cloudera和Hortonworks之类的Hadoop发行版公司提供的Hadoop套件,配置好参数,找一些机器运行起来,就算完成了大数据平台的搭建工作?搭建完毕以后,平台开发人员日常的工作是不是就是修复一下各种组件的Bug、处理一下集群故障、给业务方扫扫盲、纠正一下组件使用姿势呢?

事实上,在我接触过的众多大大小小的大数据平台开发团队中,有不少的团队所做的工作基本类似于我描述的那样,大体偏运维的性质。

当然这么做未尝不可,但是否合适则取决于平台建设的思想和目标。如果你认为大数据平台的概念和集群的概念是等同的,大数据平台建设的目标就是把各种集群管理好,那必然会导出上述结论。

但如果你的目标是建设一个成熟的大数据业务开发服务体系,希望在各种开源组件或集群的基础上创造更多的附加价值,提供给用户一个完整的数据业务解决方案,而不仅仅是做一个集群的维护者,那么显然就会倾向于另一个结论。

本书绝大多数内容都是从提供完整的服务体系的角度出发,来尝试回答什么是大数据平台,以及它应该如何建设。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书会第9群:808517103

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

289人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

645人订阅学习

WOT2019全球人工智能技术峰会

WOT2019全球人工智能技术峰会

通用技术、应用领域、企业赋能三大章节,13大技术专场,60+国内外一线人工智能精英大咖站台,分享人工智能的平台工具、算法模型、语音视觉等技术主题,助力人工智能落地。
共50章 | WOT峰会

0人订阅学习

读 书 +更多

黑客入侵的主动防御

本书是一本非常全面地讲述黑客入侵主动防御技术的网络安全工具书。本书的重点是介绍黑客的攻击手段和提供相应的主动防御保护措施,在组织结...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客