|
|
|
|
移动端

1.7.3 选择Key/Value存储

《开源安全运维平台--OSSIM最佳实践》第1章OSSIM架构与原理,本章从OSSIM起源讲起,介绍了目前运维人员现状,逐步谈到应用SIEM的必要性,进而介绍OSSIM架构与组成原理,另外还介绍了基于插件的日志采集思路,提出标准化安全事件的全新理念,详细分析了OSSIM的高可用架构与实现方法。本节为大家介绍选择Key/Value存储。

作者:李晨光来源:清华大学出版社|2016-01-14 17:00

开发者盛宴来袭!7月28日51CTO首届开发者大赛决赛带来技术创新分享

1.7.3 选择Key/Value存储

早期OSSIM版本中依然是采用Mysql+memcache的架构存储数据,由于存在性能和一致性问题,在OSSIM4.4后续版本中引入Redis作为队列处理服务器,有读者会问为什么选用Key/Value存储?从SIEM收集业务角度出发,无论日志还是安全事件都属于非结构化数据,在日志关联分析时,非结构化的数据量会大大超过结构化数据,这些数据之间存在关联,如果将这些数据直接存入数据库,那么对数据库访问频率将增加,由于单个表行数的猛增,对表的访问行数成比例增加,在多个表之间的数据调用将会产生大量的计算,足以将任何一个数据分析系统压垮。

在分析Ossim系统各集成开源工具中发现系统没有进行持久化,如果RabbitMQ服务器重启会导致消息丢失,所以采用Redis Server来解决这些问题,Redis是一个Key/Value的NoSQL数据库,Redis作为缓存服务器,数据存储在内存,所以速度比MySQL要快得多,尤其在OSSIM的Web UI中很多的排行榜应用、取出TOP 10的操作、包括各种仪表盘、计算器应用、SIEM控制台的Uniq操作、获取某段时间所有数据的列表、取最新的TOP N操作,包括在分布式日志收集系统中消息队列的处理,这些都要用到Redis服务。

注:以上为样章内容,最终效果以书中文字为准。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书频道活动讨论群:342347198

【责任编辑:book TEL:(010)68476606】

回书目   上一节   
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

网络工程师必读——接入网与交换网

本书是以一个典型的计算机广域网通信为背景进行编写的,详细、全面地介绍了通信网中最主要的两个部分:目前,国内外接入网与交换网的主要技...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊