网络流量日志采集与分析<\/strong><\/p>

第一步：概念基础与日志来源<\/strong>
网络流量日志是记录网络设备、主机或应用程序之间通信行为的详细数据。其核心来源包括：<\/p>

网络设备日志<\/strong>：路由器、交换机、防火墙等设备生成的NetFlow、sFlow、IPFIX等流日志，记录通信的元数据（如五元组：源\/目标IP、端口、协议）。<\/li>
探针\/传感器日志<\/strong>：通过专用探针或端口镜像（SPAN）获取的全报文捕获（PCAP）数据或深度包检测（DPI）产生的应用层协议日志。<\/li>
主机网络日志<\/strong>：操作系统（如iptables日志、Windows防火墙日志）或主机上的代理软件收集的网络连接和套接字活动信息。<\/li>
云与虚拟化平台日志<\/strong>：云服务商（如AWS VPC流日志、Azure NSG流日志）及虚拟交换机（如Open vSwitch）提供的虚拟网络流量日志。<\/li> <\/ol>
第二步：核心采集方法与技术<\/strong>
采集的目标是将分散的原始流量数据转化为可传输、处理的结构化或半结构化日志流。<\/p>

流日志采集<\/strong>：在支持NetFlow等协议的网络设备上启用并配置流输出，由采集器（如NetFlow Collector）在指定UDP端口监听接收。关键在于协调设备模板与采集器解析规则。<\/li>
报文镜像采集<\/strong>：通过交换机的SPAN功能或网络分光器，将流量副本发送至专用探针或采集服务器。需确保采集接口带宽和处理性能匹配流量峰值。<\/li>
代理采集<\/strong>：在主机或容器内安装轻量级代理（如eBPF程序），直接在内核层面采集网络连接和系统调用事件，适用于云原生环境。<\/li>
云API采集<\/strong>：通过调用云服务商的API或配置日志订阅（如AWS Kinesis Data Firehose），将云平台流量日志导入采集管道。<\/li> <\/ol>
第三步：日志标准化与丰富化<\/strong>
原始流量日志需处理以提升分析价值。<\/p>

字段标准化<\/strong>：将不同来源的日志映射为统一模型，例如将src_ip<\/code>、sourceAddress<\/code>等统一为source_ip<\/code>，并规范时间戳格式。<\/li>
会话还原<\/strong>：基于流日志的五元组与起止时间，将双向流量关联为完整的网络会话记录。<\/li>
上下文丰富<\/strong>：通过外部数据源补充信息，例如：通过IP情报库标记地理位置与威胁信誉；通过CMDB关联IP与资产所有者；通过DNS解析记录将IP对应为域名。<\/li>
应用协议识别<\/strong>：利用DPI技术或端口-协议映射，为流量标记具体的应用类型（如HTTP、MySQL、TLS）。<\/li> <\/ol> 第四步：存储、分析与典型应用场景<\/strong> 处理后的日志进入集中存储与分析平台，驱动安全运营。<\/p> 存储策略<\/strong>：高保真原始报文（PCAP）因体积巨大，通常短期留存用于取证；流日志和会话日志可长期存储于时序数据库或数据湖中，支持快速检索。<\/li> 关联分析<\/strong>：将流量日志与其他日志（如端点安全日志、威胁情报）关联。例如，将可疑进程的网络连接记录与防火墙阻断事件进行时间线比对。<\/li> 异常检测<\/strong>：行为基线偏离<\/strong>：建立主机\/用户通信模式基线，检测异常外联（如连接非常见端口、数据量激增）。<\/li> 内部横向移动<\/strong>：检测主机间非常规的大规模SMB、RDP或SSH连接。<\/li> 数据泄露迹象<\/strong>：识别到外部地址的异常大体积数据传出，或高频次DNS隧道查询。<\/li> <\/ul> <\/li> 威胁狩猎与取证<\/strong>：利用高级查询语言，主动搜索已知攻击模式（如C2心跳通信、端口扫描特征），或在事件发生后，依据受影响IP\/端口回溯完整的网络活动链条。<\/li> <\/ol>