Web攻击日志分析的过去现在与未来

时间:2014-12-13 11:56:32来源:作者:点击:

0x00:前言

谈到日志分析大多数人的感觉是这是一个事后行为,场景当黑客成功将网站黑了。运营人员发现的时候安全人员会介入分析入侵原因,通过分析黑客攻击行为往往会回溯最近几天甚至更加久远的日志。

0x01:处理过程。

个人认为日志分析的过程分为3个阶段:

enter image description here

• 过去:

在之前很多网站的运营日志并不多少,只有几G多的可能几十,上百G,当出现了攻击行为时,利用grep、perl或者python脚本可以来完成,但这也是基本偏向于事后阶段。原始阶段,通过grep关键字来发现异常,这样并不能达到实时分析的结果,往往也是需要到出事后才能介入。 在后来,我们在服务器上部署了perl脚本想通过实时tail日志来发现攻击者的行为从而进行一个好的分析。这里的问题是对服务器负载压力大,运维人员未必会协助你部署,比较苦逼。那么我们能否在事前阶段介入呢? 答案是有的,通过下文介绍的方法来逐步实现。

• 现在:

现在是大数据时代数据的最根本的体现就是大,随着电子商务的兴起。每天日志量上亿或者上十几亿基本成为了主流,如果还是依赖之前的脚本或者grep根本无法完成既定的分析,更谈不上能实时分析。

大数据给我们带来了很多针对大量数据处理的方案,比如hive(离线分析)、storm(实时分析框架)、impala(实时计算引擎)、haddop(分布式计算)、以及hbase,spark这样的技术。

那么在有了数据之前,我们应该做点什么能够支撑我们的安全数据分析平台呢?

我觉得可以分为几个阶段来进行:

数据收集。

数据处理。

数据实时计算。

数据存储 分为2个部分:离线和实时。

首先第一点没有数据的话,就不要往下看了。

安全分析的基础是数据,所有的数据来源都源自web日志,从业务的角度来说,这些都是业务日志,但是在我的眼里这些数据是“蜜罐”。

日志当中存在好的坏的人,我们的目标就是从中筛出坏人。

基于大数据的技术如此多,通过架构及技术选型,选择的数据类型是这样:

enter image description here

[1]       

您可能感兴趣的文章

无相关信息

文章评论