qcon

开源了！爱奇艺⽹络流量分析引擎QNSM及其应⽤

点击“开发者技术前线”，选择“星标”

在看|星标|留⾔,真爱

▌导读

⼀定业务规模的互联⽹公司的基础设施的⽹络边界通常都呈现⼀定程度的复杂多分区的情况，如何进⾏有效的安全防护和控制会成为安全体

系建设的重点和难点。⾯对这⼀挑战，爱奇艺安全团队⾃研了⽹络流量分析引擎QNSM,并将其⽤在各种基于流量分析的跨区安全检测和控

制场景中，成为了爱奇艺安全防御体系的关键基础引擎。本⽂是根据爱奇艺⾼级总监卢明樊在QCon全球软件开发⼤会（上海站）2019

分享《爱奇艺⽹络流量安全检测能⼒建设实践》部分内容整理⽽成。

▌互联⽹企业边界复杂性

上图是典型的中⼤型互联⽹公司的⽹络架构，通常分为:

·办公⽹络，可能还有如右下⾓的众多⼩的分⽀机构，甚⾄还有办公机房

·核⼼数据中⼼，这些数据中⼼机房可能分布在全国多个地⽅，并通过专线实现互连，在这个基础上构建了⾃⼰的私有云。

·CDN⽹络，这些CDN节点和核⼼机房也存在⼀定的互连。

·如果使⽤公有云基础服务，呈现混合云的模式，这些基础服务与核⼼数据中⼼存在互连。

·上述⼤量的分区都可能通过不同的⽅式接⼊到互联⽹。

·最后，BYOD和各种⽆线热点以及⼿机⽆线热点等出现，导致呈现了⼤量碎⽚化的所谓新边界。

对企业安全防御⽽⾔，带来了各种新的挑战:

·安全防御变得碎⽚化和多层次化，⼤边界内部还可能出现更多的⼩边界。

·单个边界可能流量会⾮常⼤，特别是互联⽹互联的边界，100Gps以上成为常态，如果在这些边界进⾏流量检测，要求流量检测要具备

⾼性能和很好的⽔平扩展能⼒，随时应对边界流量的扩展。

·企业⾯临的内外威胁依旧很严峻，流量型攻击，漏洞型攻击，边界突破渗透，内部⼈员的泄露、破坏和控制都是普遍存在。

·安全防御的体系也在逐步演化，从单纯的边界防御、结合多层次内部防御的纵深防御、以及⽴⾜于零信任或者假设失陷的下紧扣⾓⾊和

权限的安全模型都在推动我们安全防御在不断的升级迭代来应对⽇益严峻的威胁。安全防御体系的演化不代表边界消失了，边界防御依旧是

基础和重要⼀环，有效地流量分析和控制成为了新的安全防御体系重要的数据源和关节可编排的控制点。

因此，我们⾃研了旁路流量分析引擎QNSM(iQiYiNetworkSecurityMonitoring)，通过对业务流量和旁路流量的协同分析，并集成多种

可调度的防护能⼒，协同应对多种类型和多种层次的攻击，并且安全运营体系打通，从接⼊、预案、响应、联动、防御、溯源逐步形成闭

环。

▌QNSM简介

全流量分析是⾮常重要的,可以⽤来进⾏资产发现、⽹络监控和可视化，对安全⽽⾔，通过对⽹络流量的分析，对流量构建基线建模，从流

量中可以发现异常、风险以及检测攻击，从流量中也可以实现数据内容提取，发现潜在的敏感数据流动或者泄露，还可以进⾏ACL策略校

对，并将⽹络流量产出的数据特征通过机器学习和专家分析，可以挖掘更多的信息以及进⾏取证溯源和事件回查。

QNSM（iQIYINetworkSecurityMonitor）设计⽬标是成为⼀个全流量，实时，⾼性能⽹络安全监控引擎，⾼性能、实时性、可扩展、

多元特征提取是我们需要的关键特性。

·扩展性强：旁路部署,结合分光分流可以⽀持多机快速横向扩展，⾃⾝的流⽔线设计也可以⽅便实现⾃定义组件的插⼊，并且提供基于配

置⽂件的统⼀资源管理模型，包括队列，CPU，MEMPOOL等，能够快速组建数据交换⽹络，加速开发进程。

·多元特征:多种维度的DDoS检测特征数据，⽀持基本的DFI/DPI，以库⽂件形式实现的SuricataIDPS集成，⽀持ipv4和ipv6双协议。

·实时性:集成IDPS实时检测，DDoS检测⽀持以10s（可调整）周期输出聚合数据，提取的多元特征可以通过Kafka和安全智能分析服务

实现对接并进⾏后续分析。

▌QNSM架构设计

如上图所⽰，QNSM是作为服务软件运⾏在普通多核X86服务器上，每⼀个服务器可以有多块万兆⽹卡，并且通过分光或者交换端⼝镜像

的⽅式获得要分析的⽹络流量，如果流量⽐较⼤，可以进⼀步通过分流器进⾏分流，将流量分散到不同的服务器上进⾏分析，进⽽QNSM利

⽤DPDK实现了多个多核处理器和多个多队列⽹卡实现了⾼速包处理，其⾼性能来⾃于:

·零拷贝（Zero-copy）

·预取、批量收包来减少cachemiss和提⾼吞吐

·ShareNothing的设计模式实现⽆锁、⽆CPU切换

·充分利⽤⽹卡的RSS特性，收包队列和CPU核绑定

1、基础库

QNSM在DPDK的基础上封装构建了各种基础库为构建上层流⽔线提供了基础能⼒，包括:

·PORT：对⽹卡队列和核⼼之间ring队列的逻辑封装，是实现并⾏处理和线性扩展的基础。

·MSG：封装了⽀持回调的CPU核⼼之间的传递的通信消息，这些消息可以是策略消息也可以是数据消息，这种⽆阻塞的核间消息⽀持⼀

对⼀和⼀对多通信，实现数据和控制平⾯分开，数据集的输出和包处理分开。

·ACL:是⽀持回调的五元组的策略描述，例如要指定满⾜怎么样的策略的包要聚合、处理、dump等操作。

·TBL:是对DPDKrte_hash表的封装，是数据集的存储，提供CURD操作接⼝，实现基于mempool的表项资源分配。

·SCHED:是对⼯作线程的封装，⽀持⾃定义的包处理，策略执⾏，⾃定义计算逻辑，消息分发和定时回调等。

2、流⽔线

QNSM构建了不同的流⽔线组件来满⾜不同场景的安全应⽤，为了⽀持更多的安全应⽤场景，我们可以在基础库的基础上构建更多的流⽔线

组件，进⽽实现⽹络流量多样的处理能⼒。

·SESSM：负责包解析，flow数据聚合和复制转发，处理策略消息等。

·SIP_AGG:是对源IP进⾏特征聚合和输出，在攻击时通过响应策略消息打开。

·VIP_AGG:实现⽬标VIP（需要保护的业务IP）的⾃学习，以及基于⽬标VIP的进⾏特征提取和向EDGE输出。

·DUMP:保存数据包为PCAP⽂件供后续的事件回溯，在攻击时通过响应策略消息打开。

·EDGE:负责将上游组件发送的多维数据输出到外部Kafka供进⼀步分析。

·DETECT:集成Suricata库，⽀持IDPS的检测。

基于QNSM现有的流⽔线组件，我们已经将其应⽤在DDoS攻击检测，IDPS检测防护，流量监控以及⽹络DLP等多种场景，并⽀撑了各种

上层安全产品的开发。⼤家可以根据⾃⼰不同安全应⽤的需要，设计和插⼊⾃开发的组件。

3、控制层

Master是整个引擎的主控，通过Kafka接收从管理平台接收策略消息，并下发到流⽔线组件实现对流⽔线的配置和处理控制。

4、安全应⽤

上图展⽰了在爱奇艺如何应⽤QNSM来满⾜各种安全需求，爱奇艺的QNSM服务节点分布在各个⽹络分区的边界上，并通过边控中⼼来进

⾏管理和维护。边控中⼼(Aegis)是爱奇艺⽹络安全防护的核⼼服务，它有如下功能:

·管理配置所有的QNSM集群，通过Kafka和QNSM的进⾏控制交互

·通过IDPS⽹关实现管理和配置QNSM集成的IDPS（Suricata）

·作为爱奇艺WAF的统⼀服务后台，这⾥不做重点介绍

·爱奇艺内部的安全⼤数据分析引擎结合威胁情报等外源数据，对从QNSM集群EDGE组件输出到Kafka的数据进⾏分析处理，产出的⽹

络攻击事件会发送边控中⼼，边控中⼼会根据策略进⼀步和态势感知系统对接，进⽽和安全运营系统对接实现闭环运营。

我们将会在后续的分享⽂章中具体介绍边控中⼼的架构和设计，这⾥不再赘述。下⾯，简单介绍我们是如何利⽤QNSM来满⾜我们DDoS攻

击检测和扩展⽀持IDPS能⼒的需求。

4.1DDoS攻击检测

业务接⼊边控中⼼，会提供要保护的VIP(VirtualIP)，此外QNSM也会主动发现流量中的⽬标VIP并且和CMDB进⾏⽐对发现属于待保护的

VIP。DDoS攻击检测⽅法主要是要基于受保护的VIP为⽬标的流量进⾏聚合特征数据供安全⼤数据分析引擎进⾏判断以实现DDoS检测。整

体的检测思路是构建⽬标VIP以及所在机房的流量基线，计算流量特征，并进⾏多维异常检测识别攻击，常见的流量基线是包括VIP和本机

房的成分基线以及机房流量基线和流量上边界，通过当前流量与基线进⾏实时计算，构建表⽰当前流量与基线的偏离的多维指标特征，并利

⽤解释性强的模型来进⾏检测判断(例如评分卡模型等)，并且会采取边控中⼼运营对事件的正负反馈来进⼀步修正基线和训练模型。

通过前⾯的多维异常检测识别出流量攻击以后，边控中⼼收到攻击事件和报警后会⽴即采取如下⾏动:

·边控中⼼通过Kafka向Master组件下发各种策略消息管理和指导流⽔线的⼯作，包括dump数据包取证，攻击源IP发现，攻击源端⼝提

取，反射攻击协议DFI等策略消息。

·Master组件根据策略唤醒SIP_AGG组件，DUMP组件，其中SIP_AGG组件基于源IP聚合特征数据(可⽤于协助发现后续攻击来源IP)，

DUMP组件会进⾏dump数据包，dump出的PCAP⽂件投递到Moloch进⼀步索引和进⾏专家分析。

·VIP_AGG组件基于VIP+SPORT聚合特征数据，SESSM组件也会针对被攻击VIP做协议DFI识别，以协助识别是否存在某类协议的反射

攻击。

·QNSM通过EDGE组件，聚合数据进⼊到Kafka，可以作为安全⼤数据分析的数据源，并且和其他不同的安全服务进⾏联动。

·DDoS攻击结束，边控中⼼通过Kafka向Master组件下发策略关闭消息管理和指导流⽔线中的重度组件⼯作。

在检测出VIP的⼊⼝流量存在攻击的情况下，通常需要进⼀步判断该攻击是否为反射攻击，我们会利⽤QNSM产出的VIP+SPORT聚合特征

数据以及SESSM组件的DFI协议识别特征数据，在安全⼤数据引擎计算不同的源端⼝的流量占⽐分布和包占⽐分布等特征进⽽计算熵值，

熵值越⼩，风险越⾼(占⽐越⾼，风险越⾼,流量和包占⽐如果全部集中在⼀个端⼝，熵将会是0)，我们会结合多维度特征构建评分卡模型，

最终给出是否是某⼀类协议的反射攻击的判定。

攻击确定以后，会根据应急预案进⾏流量牵引，爱奇艺构建了私有的流量清洗中⼼，并结合云清洗和运营商的近源清洗形成了三位⼀体的清

洗能⼒。

4.2IDPS能⼒集成

Suricata是⼀种基于⽹络流量的IDPS引擎，它有⼴泛的规则集来监控⽹络流量，并在发⽣⼊侵事件时触发警报,QNSM使⽤库⽂件的⽅式将

Suricata集成，并通过IDPS⽹关接收边控中⼼下发更新Suricata相关检测规则，从SESSM组件复制转发过来的包会通过Detect组件调⽤

Suricata进⾏处理，实现实时检测和触发事件和告警，并通过Kafka将事件和告警输出到安全⼤数据分析引擎进⾏进⼀步分析处理。通过对

Suricata的集成，QNSM可以兼容⼤量开源和⾃定义的IDPS规则集，并且规则管理⽅式保持完全⼀致。

利⽤Suricata的DFI能⼒，QNSM也快速扩展⽀持从流量中识别各类数据库，缓存等云服务访问流量的能⼒，并且⽀持从流量中提取⽂件信

息（包括⽂件名，⽂件⼤⼩，⽂件类型，MD5等），通过Kafka输出到安全⼤数据分析引擎，最终实现向DLP平台(绿盾)输出数据泄露和违

规访问事件。

⽬前⽀持了爱奇艺内部常见的HTTP,MySQL，Redis，CouchBa,

Memcached，MongoDB，Elasticarch，Kafka，VNC，RSYNC等多种协议和相关⼯具的识别，⽀持对HTTP，SMTP，FTP⽂件传

输通道的监控。

▌开源

⽬前QNSM已经应⽤到爱奇艺包括DDOS攻击检测检测、IDPS、⽹络DLP等多种安全检测场景，累计部署22+集群共计130+分析节点，

总分析带宽容量达到1TBps。

我们需要⼤家和我们⼀起改进QNSM,让它变得更强⼤,⾮常欢迎更多的合作和贡献，覆盖更多的甚⾄不限于安全应⽤的场景。

END

前线推出学习交流群，加群⼀定要备注：研究/⼯作⽅向+地点+学校/公司+昵称（如Java+上海+上交+可可），根据格式备注，可更快被通过且邀请进群，领取⼀份专属

扫码加我微信进群，内推和技术交流，⼤佬们零距离

历史推荐while(true)和for(;;)到底哪个更快？

阿⾥程序员常⽤的15款开发者⼯具！再见！RxJava

同事：你居然还在⽤trycatch处理异常？有点Low啊

完美！竟然⽤⼀个脚本就把系统升级到https了，且永久免费！

好⽂点个在看吧！