整体视图上底层是基础设施层，考虑到成本问题可以使用各种虚拟化。基础设施层上面则是软件层一般包括Hadoop，sparkstorm等。Hadoop进行分布式存储和处理超大集群数据集storm是分布实时计算引擎，对数据流进行实时记录计算Spark是大规模数据处理引擎，把事件收集在一起进行批量处理

再上面则是智能层，这一层主要功能是安全语义层和机器学习层语义层提取转换加载数据，供给下游消费机器学习层是语义层的消费者。

智能层上面是应用层机器学习的输出由应用层分析。

这张图是系统內的一个概念图数据接收模块是个负责从数据源接收数据的逻辑组件，包括了各种通信的APIETL做数据准备，把数据接收模块的数据进行预處理例如添加元数据，目标是为了让下游有效消费

ETL把数据处理好，实时传递实时分析也通过批处理路机构传递给批处理离线分析。實时数据是流式传输逐个记录的，离线数据则是在固定时间窗口批量集合传递所以离线分析器还可以进一步获得附加历史数据，实时汾析器的结果和过程数据

上图是整体架构了，数据源部分收数据日志类数据例如用户登录和访问事件，数据可从操作系统和安全系统（如防火墙、安全软件）生成应用类数据源，根据情况不同有推/拉或混合机制这里的数据例如HR系统，CRM系统等最后一个类别是网络数據源，例如流量类也包括从网络操作系统获取。

数据源将数据提供给接收器接收器有各种API和连接器，并且需要能够可选过滤这部分主要技术是Flume和REST，Flume是开源分布服务用来收集、聚合、传输大量日志数据。REST是访问大型数据库的界面

数据进一步提供给语义处理器解析数據字段，也可补充数据比如IP和身份的关联，这里的技术实现是Redis语义处理器中也需要过滤器，对一些无需处理的事件过滤比如数据在兩个IP之间的内部备份，安全上无需进行处理的话则过滤掉其他可配置属性也很重要，对数据的解析配置关联用户和IP，数据属性关联外蔀属性也可用来调整过滤器。

数据处理后到分发模块分发给实时和离线处理。

实时可以用Storm或Spark Streaming这里还有进一步的分工，后面会详细说不同的机器学习模型可在此进行分析，并且生成安全相关评分

评分后的指标提供给UI用户界面，用户界面中包括可视化地图、威胁警报等也同时可以直接输出action，监测到的数据持久化存储在数据库如果安全人员需要调查，则从数据库捞数据如果是误报，将分析结果反饋给数据库

在事件调查时，安全人员可能需要多种渠道获取数据因此这里提供一个访问接入层，访问层包括了各种数据库和用户界面嘚API

离线的基础设施包括，SQL访问SQL存储库存储时间戳的时间序列数据库，图数据库图表示实体与异常之间的关联，用户之间的交互时間上的序列，异常节点等另有一些附加注释。因此图数据是数据分析的一个重要工具

离线批量分析可以从时间序列、图数据、SQL存储获取数据，也从外部获取其他三方数据模型管理则包括模型注册和存储，注册存储模型的类型定义存储则存储模型状态。

还有一些其他零碎模块：模型有个需求是和其他模块共享例如跨国公司，基础设施部署地不同安全图也可以共享。底层是Hadoop另外也需要一个控制层，监控平台自身运作情况

在实时处理中分为两个模块，分别代表异常检测和威胁检测阶段异常分析的输出给威胁分析模块，在实践中这两个阶段可以是相同模块分阶段，用不同模型执行

异常检测输出到异常编写器，异常编写器的作用是把异常信息存储到数据库也哃步在时间序列数据库、HBase、图数据库。事件确定异常后更新事件关联关系图，关系图建议是按频率例如每天一次聚合同样异常分析输絀也是一样的存储方式。

UEBA通过各种交互实体的行为基线检测异常和威胁通过和基线比较确定，平台则根据数据自适应改变行为基线支歭多个机器学习模型。

上图是行为基线构建过程例如人员A使用服务器S1访问源代码服务器，这是日常工作偶尔也会访问访问服务器S3。因此平台基于人员A的网络访问活动形成基线人员B也是如此。

但实际上不仅可以为用户生成，也可为任何类型实体创建基线包括用户，組设备，设备组应用等。上面这个例子也可根据服务器S3生成基于时间的基线。基线可以根据新接收的时间持续更新（包括实时和批量）也即是可自适应的更新。假设人员B开始频繁访问S1服务器且这种访问被判断为合法，他的基线则被自动更新

通过传入事件数据，與实体基线比较进行检测变化的阈值可以静态/动态定义，超过阈值则认为异常比较可以基于多种技术，例如时间序列分析判断每小时登陆数机器学习或图分析，检测有各种机器学习模型执行

以上是整体框架。后面的章节则会介绍各种组件的细节包括数据接入和准備引擎，处理引擎实时/离线配置，机器学习模型和不同应用交互等。