电话销售办理什么电话卡不封号
项目概述
中国联通作为目前国内拥有全电信业务的运营商,网络
带宽呈爆发式增长,互联网业务复杂,流量流向分析及用户
行为分析的成本逐年上升,但这种分析对网络长期健康发展
是必不可少的。传统的分析方式是基于电路流量采集,通过
分光或镜像的方式,对全量数据进行采集,而后进行筛选,
再进行数据数据分析,投资大,效率低。
以往每天DNS日志信息和NetFlow流数据信息生成的数据
信息有上百亿条,通过传统计算机无法完成DNS日志信息和
NetFlow流数据信息的分析。随着大数据技术的不断发展,通
过服务器分布式部署,并行计算,对海量数据的分析能力逐年
增加,而分析的成本却急速下降,目前以大数据技术为基础,
并行分析DNS日志信息和NetFlow流数据信息已经成为可能。
该项目通过收集路由器和交换机的NetFlow数据,可以
帮助网络管理员查看什么网站资源、什么用户、什么时间占
用了带宽;网站网络流量是否超过安全门限;对网络流量统
计数据进行全面的分析和存储,并出具自动生成的标准报告
和客户化定制报告,可以让客户获得想要的所有数据,从而
允许客户对全网性能做出准确判断,这一新技术避免了大量
部署和配置监测探针的复杂过程。通过采集DNS日志信息和
BGP信息可以将NetFlow中的目标IP地址、地址归属和网站
域名关联起来,从而透视到每个用户完整的上网行为。
在此背景下,河南联通宽带网络维护专家提出为了满足
河南联通流量流向分析,使用基于DNS+BGP+Flow数据的
大数据分析方式实现流量流向分析功能。
系统设计原理
2.1 网络流量分析现状
当前网络流量分析主要有以下三种方式。
(1)基于SNMP流量分析。通过设备厂商定义MIB,定期
对设备进行SNMP数据的采集,对网络设备端口的整体流量
进行分析,可以获得设备端口的实时或者历史的流入和流出
流量、丢包、误码等性能指标,但无法分析具体的用户流量
和协议组成。
(2)基于网络探针的流量分析。通过在网络中部署探针
设备,探针设备周期性地发包、收包,测试探针的网络延
时、网络抖动、网络吞吐能力、网络丢包等指标。但只能在
网络模拟用户流量和协议进行测试,无法了解客户真实访问
的落点和流向,并且探针方式的分析范围直接取决于覆盖范
围,无法实现跨网分析。
(3)基于实时流量抓包的数据分析。通过在网络进行电
路分光或设备端口镜像的方式,可获得详细的从物理层到应
用层的全部数据,通过数据包解析还原,分析用户协议特
征、用户上网行为等数据,但网络部署复杂,部署成本高。
河南联通之前采用过这种分光的分析方式,但随着网络带宽
不断扩容,分光设备的投资过高,未再继续实施。
主流的三种流量采集分析方式,从经济费用、人力消耗、
时间消耗、数据准确性等方面都不能以最优的方案实现流量分
析功能。因此设计了NetFlow流量分析及异常流量监控系统,通
过NetFlow日志、路由表信息和DNS日志等多数据源,多维度地
分析网络流量流向数据,还原网络中真实的用户上网行为。