|
|
51CTO旗下网站
|
|
移动端

目录

《大数据平台基础架构指南》本书重点介绍大数据开发平台服务构建的整体思路和解决方案,内容涵盖一个成熟的大数据开发平台必不可少的各类核心组件:工作流调度系统、集成开发环境、元数据管理系统、数据交换服务、数据可视化服务、数据质量管理服务,以及测试环境的建设等。本节为目录。

作者:刘旭晖来源:电子工业出版社|2018-11-11 10:30

目录

第1章 大数据平台整体建设思想 1
1.1 什么是大数据平台 1
1.2 大数据平台的建设目标 3
1.2.1 别人的大数据平台是怎样的 3
1.2.2 和业内领先的大数据平台的差距 4
1.2.3 大数据平台建设目标小结 6
1.3 大数据平台的建设指导方针 6
1.3.1 组件工具化 7
1.3.2 工具平台化 8
1.3.3 平台服务化 9
1.3.4 平台产品化 10
1.3.5 对中小公司大数据平台的适用性 11
1.4 大数据平台的两种建设路径 12
1.4.1 垂直业务领域一站到底的建设方式 13
1.4.2 通用组件建设,组合支持业务的方式 13
1.4.3 从蘑菇街平台的实践经验对比两种建设路径 14
1.4.4 两种建设路径的对比小结 16
第2章 服务意识和产品思想的培养 17
2.1 明确大数据平台服务能力的评估标准 17
2.1.1 大数据平台团队的职能定位 18
2.1.2 打通上下游系统和业务流程的能力 18
2.2 满足用户真正的需求 19
2.3 认清服务的代价,做好心理建设 20
2.4 寻找解决服务代价问题的方案 23
2.4.1 路线选择带来的代价问题 23
2.4.2 如何降低服务自身的代价 25
2.5 大数据平台的产品化思想 29
2.5.1 从用户体验的角度谈产品设计 31
2.5.2 从价值和利益的角度谈产品思维 36
2.6 小结 38
第3章 工作流(作业)调度系统 39
3.1 作业调度系统基础理论 40
3.1.1 调度系统分类 40
3.1.2 工作流调度系统的两种心法流派 45
3.1.3 工作流调度系统功能特性详解 49
3.2 Jarvis调度系统产品开发实践 55
3.2.1 需求定位分析 55
3.2.2 具体功能目标的详细分析和实践 57
3.2.3 第二代Jarvis现状和将来 75
3.3 小结 79
第4章 集成开发环境门户建设 81
4.1 集成开发环境的功能定位 82
4.1.1 集成开发环境的整体服务思路 83
4.1.2 集成开发环境的具体产品建设目标 86
4.1.3 小结 93
4.2 开发平台测试环境建设 94
4.2.1 问题背景 94
4.2.2 系统功能性测试环境 95
4.2.3 数据业务类测试环境 96
4.2.4 小结 100
第5章 数据采集、传输、交换、同步服务 101
5.1 数据交换服务场景和常见开源方案 102
5.1.1 大数据平台数据交换服务业务场景 102
5.1.2 常见数据交换服务解决方案介绍 103
5.2 数据交换服务具体产品实践 110
5.2.1 数据交换服务底层组件 110
5.2.2 数据交换服务管控平台 113
5.2.3 蘑菇街数据交换服务的实践现状和未来改进计划 118
5.3 用户行为链路分析之日志埋点采集跟踪方案实践 120
5.3.1 记日志有什么难的 120
5.3.2 蘑菇街的用户行为日志采集方案实践 122
5.3.3 小结 129
第6章 数据可视化平台 130
6.1 什么是数据可视化平台 130
6.1.1 数据可视化平台名词定义 131
6.1.2 已经有了那么多商业BI系统,为什么还要造轮子 132
6.2 数据可视化平台产品实践 134
6.2.1 可视化平台产品定位和需求分析 135
6.2.2 具体产品功能需求实践详解 136
6.2.3 将来的改进目标 146
6.2.4 产品实践小结 148
第7章 安全与权限管控 149
7.1 权限管理的目标是什么 149
7.1.1 适度安全,降低人为风险 150
7.1.2 隔离环境,提高工作效率 151
7.1.3 权责明晰,规范业务流程 152
7.1.4 权限管理目标小结 153
7.2 如何解决安全和便利的矛盾 153
7.2.1 安全和便利天生矛盾 153
7.2.2 改变角度,转移目标 154
7.2.3 把握尺度 155
7.2.4 可能的变通措施 157
7.2.5 思想小结 163
7.3 权限管控系统产品方案和技术分析 163
7.3.1 常见开源方案 164
7.3.2 Kerberos 165
7.3.3 Sentry和Ranger 168
7.3.4 Knox 169
7.3.5 开源项目中常见的权限模型概念 169
7.4 基于开发平台服务入口的权限管控方案 171
7.4.1 权限管控方案实践 171
7.4.2 底层统一权限管控和平台边界权限管控方案对比 173
第8章 数据质量管理 175
8.1 元数据管理平台 176
8.1.1 元数据管理平台管理什么 176
8.1.2 元数据管理相关系统方案介绍 180
8.1.3 元数据管理系统工程实践 183
8.2 DQC数据质量中心 185
8.2.1 DQC数据质量中心业界方案 186
8.2.2 DQC数据质量系统建设实践 188
8.3 数据质量管理小结 193
第9章 大数据集群迁移经验谈 195
9.1 集群迁移都要面对哪些麻烦事 196
9.1.1 集群和机房外部环境问题 196
9.1.2 平台自身组件和服务依赖问题 196
9.1.3 业务模式和沟通配合问题 197
9.1.4 业务逻辑和数据正确性问题 198
9.2 集群搬迁方案的总体目标、原则、流程 199
9.3 一些具体问题的分析和实践 201
9.3.1 如何保证正确性 201
9.3.2 集群数据同步拷贝方案 205
9.3.3 各种无法双跑的业务场景梳理 207
9.4 小结 208
第10章 谈谈大数据码农的职业发展问题 210
10.1 如何成为一名糟糕的大数据平台工程师 211
10.1.1 我是小白我怕谁 211
10.1.2 敏而好学,不耻下问 212
10.1.3 效率优先,中文至上 213
10.1.4 流行的就是***的 213
10.1.5 我们的征途,是星辰大海 215
10.1.6 书中自有颜如玉,热衷阅读代码 216
10.1.7 谜之问题的谜之解决方式 218
10.1.8 勤奋好学,但是回头即忘 220
10.1.9 小结 221
10.2 职业选择和我们早晚要面对的中年危机问题 222
10.2.1 中年危机,要从娃娃抓起 222
10.2.2 中年危机之抗焦虑指南 223
10.2.3 如何才能获得自由 225
10.2.4 案例 230
10.2.5 小结 233


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书会第9群:808517103

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

289人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

645人订阅学习

WOT2019全球人工智能技术峰会

WOT2019全球人工智能技术峰会

通用技术、应用领域、企业赋能三大章节,13大技术专场,60+国内外一线人工智能精英大咖站台,分享人工智能的平台工具、算法模型、语音视觉等技术主题,助力人工智能落地。
共50章 | WOT峰会

0人订阅学习

读 书 +更多

精通EJB 3.0

本书是关于EJB 3.0的专业技术教程,专注于EJB的概念、方法、开发过程的介绍。同时,本书还研究许多高端的EJB知识,使得开发者能够真正理解...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客