|
|
51CTO旗下网站
|
|
移动端

推荐序3:大数据时代的运维

《智能运维:从0搭建大规模分布式AIOps系统》本书结合大企业的智能运维实践,全面完整地介绍智能运维的技术体系,让读者更加了解运维技术的现状和发展。同时,帮助运维工程师在一定程度上了解机器学习的常见算法模型,以及如何将它们应用到运维工作中。本节为大家介绍推荐序3:大数据时代的运维 。

作者:彭冬/朱伟/刘俊来源:电子工业出版社|2018-11-27 11:59

推荐序3:大数据时代的运维

在互联网时代,尤其是社交网络、电子商务与移动通信把人类社会带入一个PB级别以上单位的结构与非结构信息的大数据时代。数据量的爆发性增长,使企业IT架构不断扩展,服务器、存储设备的数量越来越多,网络也变得更加复杂。而大数据的4V特征,数据量大(Volume)、类型繁多(Variety)、价值密度低(Value)、时效高(Velocity)也使得传统的技术架构和路线,已经难以高效地处理如此海量的数据。可以说,大数据时代对企业的数据驾驭能力提出了新的挑战。尤其是大数据平台往往支撑着公司的搜索、推荐、广告等核心业务,为了保障良好的用户体验和业务效果,运维工作显得十分艰巨。相比于传统的运维方式,大数据时代的运维面临着集群规模更大、业务组件更多、监控可视化与智能化更为复杂等诸多难题。

我们知道,在互联网初期,大部分应用程序跑在少量的服务器上,网络带宽很小,存储量也很小,这个时候的运维更多的是解决类似于组网、操作系统等机房建设问题,应用的上线部署可以由开发工程师来完成,运维的工作职责没有那么明显。随后互联网进入高速发展期,数据规模从GB到TB再到PB级别,在存储量上超过千倍增长,在计算规模上可能也远远超过千倍增长,传统的通过单节点来存储和计算超过PB级别的数据已经比较困难,分布式集群的方式已经成为标准的解决方案。分布式系统在存储上解决了大规模数据单机无法承载的问题,同时在计算上解决了单机CPU或者内存等资源无法完全满足的问题,但是同时也带来了很多运维难题,诸如统一上线部署、大规模机器管理、降级、容灾、数据同步等。从数据规模到机器规模的扩大,传统的运维方式和方法已经不能满足产品快速迭代的要求,智能运维在这样的场景下应运而生。

智能运维是建立在运维基础上,通过一定策略和算法来进行智能化诊断决策,以更快、更准确、更高效地完成运维工作的技术体系。要实现智能运维的目标,需要有平台支撑,这也是DevOps很火的原因,很多运维工程师都掌握了开发工具和平台的本领,因此建立了高效的自动化运维平台。所以说智能运维是运维发展的高级阶段,也是互联网时代发展到一定阶段的产物。

智能运维的基础是建立在大规模数据分析和计算之上,当数据量很小时,我们甚至可以人X 智能运维:从 0 搭建大规模分布式 AIOps 系统

工判断和决策,一旦数据达到一定规模,大数据涉及的所有技术就都会成为智能运维所依赖的技术。一方面,可以说智能运维是一种新型技术,因为它从另一个视角去看待运维,对传统运维进行了创新和升华;另一方面,也可以说智能运维是一种经典技术,它是一系列成熟技术的结合体,它融入了运维技术、大数据、传统机器学习技术、机器学习、深度学习等方方面面的技术。

那么在大数据时代应该如何做好运维?我觉得有三个方面。

一是基础设施平台化,大数据的4V特性,相比于传统的系统运维 ,数据的处理框架变得更为多样化和复杂化,这要求我们必须夯实基础设施才能事半功倍。比如多源异构海量数据的分布式存储、离线批处理、高性能索引、大规模流数据处理,以及可视化监控与报警平台等。

二是集群管理自动化,降低运维复杂度。自动化能够提升稳定性,固化的操作交给机器去做,可以降低人为操作失误,提高线上的稳定性;自动化还能极大地提高效率,将运维人员从日常烦琐的操作中解放出来,把更多的时间投入到运维平台迭代优化上,从而更好地为业务运营服务。

三是运维决策智能化,充分利用大数据分析技术提升预测、发现和自动检测的能力,预测分配资源,动态伸缩集群,实现智能预警,自动修复,最大化利用资源,减少开销。

本书作者是微博广告平台资深架构师,从0到1架构了微博广告大数据运维体系,历经纯人工操作、平台化、自动化、智能化多个发展阶段,可以说踩过许多坑,也总结出一套行之有效的方法论。微博广告五年来一直高速发展而系统始终保持高效稳定,这跟大数据运维体系的成功是分不开的。本书对于即将投入大数据运维行业的工程人员来说是一个非常好的参考,同时对于互联网企业的中高级从业人员也很有借鉴意义。

李东升

微博广告业务部总监


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书会第9群:808517103

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

《网管员必读——网络管理》

本书在全面介绍微软最新网络操作系统Windows Server 2003的基础上,简要地介绍了UNIX和Linux两大操作系统的代表产品:Sun(太阳)公司的Sol...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊