流量数据管理需求演进之路

　　流量数据管理发展背景

　　随着国家社会及经济的发展，企业信息化程度的不断提升，网络的架构已经发生翻天覆地的变化。基于信息化程度的提升使得信息化系统、应用的架构不断演进，从而对企业网络架构、企业IT资产运维、企业信息安全管理手段提出了更高的要求。基于“流量数据”本身的丰富数据内涵，决定了“流量数据”的分析价值。在信息化/网络化不断发展的过程中，围绕流量数据的“信息安全分析”、“业务健康分析”、“IT运维大数据分析”等不胜枚举的多维度分析已经在各行各业的IT信息化中得到广泛应用，强有力的保障了企业信息安全及IT系统正常运行。

　　本文首先简要回顾了迄今为止流量数据管理的三个阶段。然后，将介绍第三阶段流量数据管理架构创新：即流量数据可视化管理（Matrix-SDN），以及推动大型企业采用它的技术力量和运营挑战。

　　流量数据管理发展历程

　　流量数据管理是专门建造的一种基础架构，将业务网络的流量数据输出给安全运维分析工具。它是连接业务网络和安全运维工具的桥梁。流量数据管理技术到现在有十几年的发展历史，大概经历了几个发展阶段。第一个阶段是流量数据获取阶段，为解决网络设备端口镜像不足；第二个阶段是流量数据预处理阶段，对流量数据进行预处理，提高流量数据的安全性和优化安全运维分析工具的效率；第三阶段由于现代IT架构下业务场景的需要，流量数据管控阶段。对流量数据整体的梳理，以数据为核心管理。 在过去二十年里，一波又一波迅猛涌现的技术创新浪潮极大地提高了流量数据管理的技术水平。

　　第一阶段-流量数据获取(2008-2012)

　　需求：流量数据无法获取、端口镜像不足、安全监控工具的增长、运维工具的发展。 特征：流量复制、流量汇聚、流量分流、流量过滤。

　　描述：TAP设备（也称：汇聚分流器/TAP分流器/TAP交换机）通过串接或并接在网络中，采集网络镜像或者分光的流量数据，可复制到多个端口、或把多条数据汇聚到个别端口，再给后端需要对流量进行分析、监控的系统应用，还可以根据一定规则过滤出分析平台想要的镜像流量数据。

　　第二阶段-流量数据预处理(2012-2016)

　　需求：流量数据特殊要求、动态流量数据获取，支撑运维排障。 特征：去重、脱敏、截短、时间戳、封装/解封装、隧道内层识别与匹配、DPI数据分类识别。 描述： TAP设备，不只是对镜像数据进行“汇聚、分流、过滤”，还可以更高功能比如“去重、脱敏、截短、时间戳、封装/解封装、隧道内层识别与匹配、DPI数据分类识别”等处理，再将处理过的镜像数据给后端分析工具。满足流量数据特殊要求，支撑运维。

　　第三阶段-流量数据管理(2016-至今)

　　需求：围绕流量数据的管理，满足流量需求基础上的管控、国家安全战略的提出和贯彻。 特征：数据为核心的管理（数据分发、数据处理、数据监控）、智能，灵活的流量数据管理、大数据展示，节点流量多维度AI分析、异常监控，分析一体化。 描述：随着流量数据需求增加。流量数据的集中采集、自由组网、统一分发，实现流量数据内容的识别、基于内容的分类管控和分发，最终形成一套“面向流量数据”的流量数据管控实现流量数据大数据展示，节点流量多维度AI分析、异常监控，分析一体化平台。

　　Matrix-SDN架构的第三阶段

　　得益于先进的SDN技术理念， NetTAP数维通信创新性将SDN技术应用于流量数据的集中采集、自由组网、统一分发，并结合先进的NP+ASIC的芯片解决方案，实现流量数据内容的识别、基于内容的分类管控和分发；实现“采集平面” “网络平面” “分析平面”的三平面架构。最终形成一套“面向流量数据”的Matrix-SDN流量数据管控平台，为企业的流量数据管理提供完美的解决方案，为未来的流量数据需求管理 铺平道路，如“流量数据中台”“流量数据安全管控” “快速流量交付”等方面。NetTAP数维通信在流量数据管控领域已经积累了大量的经验和管理成果。

　　流量数据组网

　　以SDN技术为核心，以“控制面”、“数据面”分离的先进架构为指导思想，将传统的流量采集硬件设备SDN化，为流量数据统一采集与分发提供了灵活的组网能力。

　　数据源/目标可视化

　　MATRIX-SDN管理平台实现了面向用户网络平面拓扑、采集平面拓扑、分析平面拓扑的一体化拓扑视图，并对三平面拓扑之间的互联关系实现了互联集中一体化展现。管理人员面对复杂纷繁的流量采集来源、流量输出逻辑关系可以在平台中实现完美的可视化视图展现与管理，极大的减轻了管理人员的工作量。

　　面向数据管控

　　MATRIX-SDN平台引领行业趋势，摒弃“面向设备管控”的传统思路，实现“面向数据管控”的流量数据集中管控。用户可以基于网络流量数据的不同内容分类对流量数据实现更精细化、更为灵活的数据交付，为网络信息安全分析/IT运维分析构建坚实基础；减小流量数据泄密风险，提升数据安全性。

　　动态流量数据获取

　　MATRIX-SDN为您提供随心所欲的数据探查功能，通过MATRIX-SDN平台上对任意已覆盖的采集点位置执行动态数据探测，直接探测是否存在故障通信端点是否有通信行为，排除客户端配置不正确问题。多节点同时探测指定通信端点双向通信行为，进一步定位网络/安全设备策略配置问题。基于多元组的数据过滤功能，基于MATRIX-SDN提供的灵活的数据探测之手，让运维人员随时随地获取想要分析的原始数据。直接最有效、最高效率的手段定位和解决故障。

　　虚实结合，一体化云采集

　　结合MATRIX-SDN流量数据采集网，在Vmware、OpenStack、Hyper-V环境下虚拟机之间东西向报文采集部署Vtap流量采集软件，通过Vtap软件，可以实现对传统方式无法采集的虚机之间的报文的采集，解决虚拟化/云网络流量数据获取困难，实现“东西向流量全面覆盖”的流量数据集中管控。为业务分析/安全检测分析构建全面覆盖的东西向流量数据。从而实现完全意义上的流量数据全面覆盖采集、统一集中管控，流量数据可视化。

　　AI智能感知网络/业务异常

　　通过全网多节点流量数据采集、实时报文/业务统计，产生基于不同网络位置节点、不同业务数据流、不同报文特征（单/组/多播、包长、标记）等多个维度的周期性网络/业务表征数据，并将表征数据输入AI模型进行训练，经历数个训练之后，多层神经网络算法将自动在内部形成正常状态下的各个表征数据的内在函数关系模型，并以此模型对异常网络/业务状态下数据表征作出准确的判断和预警；基于AI的预警能够有效的感知企业网络内的业务或网络异常表征，在第一时间作出有效预警，为IT运维支撑人员争取提前反应时间，同时触发系统的流量快照现场数据捕获，有效提升故障解决效率。

　　Matrix-SDN方案推动第三阶段的创新

　　融合先进的SDN技术及先进的NP+ASIC的芯片构建科学的流量数据采集网，应对日益增长的流量数据需求，日益复杂的流量数据位置、内容的管理需要，采用“面向流量数据”的设计方式，一切从“流量数据”本身出发，对企业网络内物理网络和云网络的流量数据做全方面的采集，实现流量数据全面覆盖，消除监控盲点。并且基于业务数据类型梳理流量数据，以不同的业务交互数据流具有的数据敏感特性、业务交互特征、协议特征具有良好的聚合性。以于不同的业务系统建立不同的分类流数据，并以不同的分类进行流量数据的分发管理控制，以“最小化数据权限”原则向不同的流量数据分析工具提供流量数据，从而降低流量数据安全风险，提升流量数据安全性。实现统一展现现网逻辑拓扑架构，清晰展现流量数据采集点所在现网逻辑位置和采集方式，统一展现流量采集网本身拓扑架构，对采集单元的工作状态、流量分发状态进行实时监控和管理。从而做到流量来源、处理过程、去向可视化三位一体的逻辑拓扑。清晰展现流量采集位置，处理策略，输入输出信息，使流量数据的管控策略从复杂转变为简单。实现流量数据动态获取，提供的灵活的数据探测之手，方便的数据探查功能，对任意已覆盖的采集点位置执行动态数据探测，直接探测通信端点的流量数据信息，让运维人员随时随地获取想要分析的原始数据，是有力的安全运维支撑工具，直接最有效、最高效的手段定位和解决故障。夯实流量数据基石，真正支撑IT系统的运维/安全业务需求。

网址：流量数据管理需求演进之路 http://c.mxgxt.com/news/view/1357729

相关内容

StarRocks数据质量管理
迅速满足流量管理需求：全新手机流量监控功能引领市场潮流
智能手机流量监控：重塑用户数据管理体验
全链路数据隐私风险管理
广东探索数据流通交易管理：细化数据经纪人评审，数据资产登记兼顾安全与效率
需求回升 稳中有进——11月份我国物流业相关数据分析
数据管理与分析平台
什么是流量数据？—ArcMap
水电站生态下泄流量监测管理系统，采集数据可实时对接省平台
王俊凯的影坛掘进：从流量明星到演技精湛的追求之路

随便看看