|
|
51CTO旗下网站
|
|
移动端

1.2.1 别人的大数据平台是怎样的

《大数据平台基础架构指南》第1章大数据平台整体建设思想,在本章中,为了避免分歧,我们首先会对本书上下文语境中所讨论的“大数据平台”这个概念做一个简单的阐述和背景铺垫。本节为大家介绍别人的大数据平台是怎样的。

作者:刘旭晖来源:电子工业出版社|2018-11-11 10:41

1.2  大数据平台的建设目标

首先来谈目标。它山之石,可以攻玉——要谈大数据平台的建设目标,首先要知道业界先进的实践经验,了解别人的数据平台是怎样的,然后才能结合自己公司的实际情况设定合适的目标和方向。

1.2.1  别人的大数据平台是怎样的

那么,别人的大数据平台是怎样的呢?如果参加过一些大大小小的技术分享论坛或会议,你应该不难发现,在各种各样新的诸如“×××公司大数据平台实践无敌干货分享”之类的PPT中,谈到大数据平台的技术组件时,多半都会给出一个大同小异的系统架构图。

在这个架构图中,各种日志和DB数据采集组件、存储和计算引擎、监控和调度系统,不管在实践中真实的应用情况如何,反正在图上所有组件一个都不缺,除了个别组件的增减替换,每家公司的大数据平台看起来都没有太大的区别。

所以,如果你要问大数据平台的基础架构图长什么样,不用自己画,直接用HortonWorks公司的HDP发行版套件图来展示,估计也没啥大的不妥,如下图所示。

除了各种公开会议,过去的几年里我和北上杭的不少大数据平台从业者也常常有各种私下的交流,在交流的过程中,讨论到大数据平台的建设方向的时候,也有些人很直白地和我说:别折腾了,大数据平台建设的整体思路其实都差不多,随便找一两家靠谱的公司交流一下就好了。

所以,谈到大数据平台的技术交流,貌似可以比较的只是具体组件方面的技术细节、组件的性能、平台的稳定性,以及各自的开发平台与公司的具体业务流程的适配和应用等方面。

如此看来,稍微靠谱一点的公司的大数据平台,整体的水平应该都在差不多的水平线上,差距只是踩坑的多少和经验的积累程度吧?

那么,现实果真如此吗?显然不太可能!


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书会第9群:808517103

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

活学活用 Ubuntu Server

活学活用 Ubuntu Server

实战直通车
共35章 | UbuntuServer

218人订阅学习

Java EE速成指南

Java EE速成指南

掌握Java核心
共30章 | 51CTO王波

83人订阅学习

Mysql DBA修炼之路

Mysql DBA修炼之路

MySQL入门到高阶
共24章 | 武凤涛

471人订阅学习

读 书 +更多

用户体验要素

本书是AJAX之父的经典之作。本书用简洁的语言系统化地诠释了设计、技术和商业融合是最重要的发展趋势。全书共8章,包括关于用户体验以及为...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客