很多企业使用 SIEM 来收集日志数据，并将安适事件与多类安适设备(入侵检测设备、Web应用防火墙等)日志相关联，，指导安适人员进行风险处置。然而 SIEM 也存在局限，监控人员往往被淹没在海量的告警之中无从下手，原因之一就是对于威胁的告警没有处理的依据，例如缺乏经验的监控人员很难判定一条安适事件告警是扫描还是针对性攻击引起的(通常后者需要更多关注)。而通过借助于威胁情报，可为监控人员提供处理依据，也可为安适人员在进行日志分析和攻击溯源时提供有力帮手。

本文将基于 Splunk，介绍威胁情报在甲方安适运维中的应用。

什么是威胁情报

按照Gartner的定义，威胁情报是指基于必然知识的证据，已经存在或正在形成的潜在威胁，好比，上下文、机制、指标、意义以及可实施的建议，利用这些，可以帮手当事人形成应对这些危险的决策。

针对攻击者的威胁情报应该包罗以下要点：

系统架构

在我们公司，Splunk 主要被用来收集各类安适设备、操作系统、应用系统日志，从而实现安适监控、安适告警、数据分析的需求。

安适设备通过 Syslog 发送，其余存放于操作系统文件系统中的日志通过在客户端操作系统安置 Splunk Forwarder 实现日志收集。

初期通过日志字段提取后在 Splunk 实现了基本的报表和告警。然而正如前言所述，我们很快就被告警淹没，无论如何调整告警阈值都无法令人满意，于是开始寻找解决方案，通过一系列的选型比较，我们最终决定引入来自微步在线(ThreatBook)的第三方安适情报数据，以API形式与 Splunk 整合。

需要注意的是——威胁情报数据的用量通常是有限制的(如按月计量)，因此我们安排了前置系统作为当地威胁情报库，用以缓存查询结果，还顺带实现了专供内部使用的 Web 交互查询界面，后来又顺路实现了威胁历史信息的记录，所有产生过告警的威胁都会被记录，而且可被关联搜索。如下图所示：

(威胁情报分析界面图，威胁情报数据来自微步在线ThreatBook TIP API)

随着威胁情报数据的应用，我们逐渐信任了数据的准确度，并开始研究威胁IP自动阻断方案。由于在网络建设时并没有这个需求，因此我们的首要目标是逐个寻找网络中是否有串联设备支持通过调用 API 的方式来达到 IP 阻断的目的，最终我们在一台抗 DDoS 设备中发现了这个功能，并根据手册要求的数据格式实现了接口调用。

系统架构示意图如下：

技术要点

日志字段提取

日志字段的提取是最基础也是最重要的步骤，后续所有的工作都是基于正确的日志字段提取之上。

Splunk 提供了傻瓜式的字段提取功能，只要展开任意事件，点击“事件操作”，选择“提取字段”即可进行提取，提取完成后可自动生成正则表达式。

对于一些比较复杂的日志格式，使用 Splunk 的自动化提取可能就力不从心了(又或许你对自动生成的正则表达式嗤之以鼻)，我们可以手写正则表达式，并在“设置-字段-字段提取”中生存。

图：Splunk 的字段提取

对于临时使用的需求，也可以在搜索中使用 rex 命令对事件应用正则表达式：

... | rex field=some_field "(?<capture_name>.*)"

对于一些以键值对形式输出的日志，可通过 extract 命令进行提取，十分便利：

... | extract kvdelim="=" pairdelim=";"

威胁情报库查询

威胁情报库的查询使用了 Splunk 的 lookup 命令，通过给 lookup 命令传递一个查询值从而获得对应的查询结果。

lookup 的典型使用场景之一是按照日志中的 IP 地址来查找对应的资产：由于日志中不包罗资产信息，而我们又希望通过 IP 地址快速定位到相关资产信息，此时就可以建立一张资产表，上传至 Splunk，在“设置-查找”完成配置后，即可通过 lookup 命令进行搜索。

... | lookup asset_table ip_addr AS dst_ip OUTPUT asset_info

而在使用 lookup 对威胁情报进行查询时，则需要用到“外部查找”功能，原理类似于动态生成一个查找表文件。外部查找功能需要调用命令和参数，Splunk 的默认安置中提供了一个名为“dnslookup”的外部查找，可以用来参考实现本身的外部查找。

威胁情报查询外部查找脚本的部分实现代码如下：

威胁情报查询语句如下：

... | stats count by client_ip server_ip | lookup iplookup ip as client_ip OUTPUT info as _TI | spath input=_TI