[论文阅读] (50)TDSC23 T-Trace：基于多源系统日志关联的APT溯源图构建

《娜璋带你读论文》系列主要是督促自己阅读优秀论文及听取学术讲座并分享给大家希望您喜欢。由于作者的英文水平和学术能力不高需要不断提升所以还请大家批评指正非常欢迎大家给我留言评论学术路上期待与您前行加油。前一篇博客详细综述了网络威胁狩猎技术探讨了智能本体与自动化工具的资源整合路径涵盖了监督与无监督学习、推理机制、图方法及规则方法等多种建模策略并分析了关键挑战和困难。本文提出了T-trace方法通过分析日志间的关联性构建事件溯源图。该方法利用张量分解技术精准定位日志社群并通过计算显著性评分提取事件。通过发现事件社群并基于日志关联构建溯源图可有效推断APT活动。注意由于我们团队还在不断成长和学习中写得不好的地方还请海涵希望这篇文章对您有所帮助这些大佬真值得我们学习。fighting欢迎关注作者新建的『网络攻防和AI安全之家』知识星球文章末尾文章目录一.摘要二.引言三.动机和场景四.本文框架1.总体架构2.事件识别3.溯源图与攻击链构建五.实验1.数据集与实验设置2.事件识别的性能3.事件抽象阈值敏感性分析4.溯源图构建性能5.攻击社区划分与攻击链提取6.T-Trace的运行时性能六.总结与展望原文作者Teng Li , Ximeng Liu , Wei Qiao , Xiongjie Zhu , Yulong Shen , and Jianfeng Ma原文标题T-Trace: Constructing the APTs Provenance Graphs Through Multiple Syslogs Correlation原文链接https://ieeexplore.ieee.org/document/10120960发表期刊IEEE Transactions on Dependable and Secure ComputingCCF A笔记作者贵州大学 姚迪一.摘要高级持续性威胁APT采用复杂隐蔽的渗透手段导致目标系统漏洞频发、暴露风险激增。因此我们必须主动构建详尽且清晰的APT攻击链才能有效应对这类威胁。与传统恶意软件或应用威胁不同APT能够绕过网络安全防护对组织乃至国家安全造成严重破坏。然而现有方法难以精准追踪APT且在识别其复杂未知的恶意活动时面临依赖性爆炸问题。本文提出并构建了T-trace方法通过分析日志间的关联性构建事件溯源图。该方法利用张量分解技术精准定位日志社群并通过计算显著性评分提取事件。通过发现事件社群并基于日志关联构建溯源图可有效推断APT活动。实验中我们使用DARPA数据集并启动了四种当前实用的APT攻击者追踪方法。与现有方法相比T-trace在构建溯源图时能有效减少90%的时间成本同时达到92%的准确率该方法可实际应用于APT溯源。二.引言高级持续性威胁APT利用复杂且隐蔽的攻击手段长期渗透系统造成严重破坏。与传统的恶意软件攻击不同APT攻击通过精密的手段绕过网络安全防护措施通常能在系统中长期存在难以被传统的入侵检测系统IDS发现。这种攻击的最大特点是攻击者不断渗透和扩展攻击范围而传统安全机制难以追踪和防范APT攻击链的全过程。现有的基于日志的溯源分析方法面临多个挑战。首先它们通常依赖于预先定义的攻击模式无法应对未知的APT攻击。其次许多方法只分析单一日志条目的信息忽视了日志之间的潜在关联导致无法全面捕捉到攻击事件的上下文信息。现有的溯源方法往往受到依赖爆炸问题的困扰生成的攻击溯源图过于复杂难以有效处理。为了解决这些问题T-trace通过张量分解技术分析多源日志之间的相关性构建攻击溯源图从而提高APT攻击链的追踪准确性并显著减少时间成本。本文贡献可以总结如下首先提出一种基于张量分解的显著性评分算法用于从日志中识别事件从而弥合低级日志与高级事件理解之间的语义鸿沟。在事件特征提取过程中我们仅需少量专家知识参与。之后的攻击提取及攻击链构建均可由计算机自动完成。T-trace技术通过关联多个系统日志可对APT攻击溯源进行分析从而揭示未知攻击链。该方法突破了传统基于训练数据集的依赖相较于基于学习的传统APT追踪方法标志着重大技术突破。T-trace技术显著缓解了构建依赖关系溯源图时的依赖爆炸问题生成的场景图既保持精简又完整保留了关键攻击者活动为后续主动威胁防御提供有力支撑。该技术在事件识别方面较前人成果提升38%的准确率同时将耗时缩短90%。此外其生成警报事件的精简依赖关系图准确率高达92%。三.动机和场景高级持续性威胁APT攻击过程如图1所示展示了攻击者如何逐步渗透目标系统并执行攻击任务。图中的各个步骤代表了APT攻击的不同阶段具体如下(1)初始侦察Initial Reconnaissance攻击者通过扫描网络和主机收集目标系统的基本信息为后续的攻击做准备。(2)初始入侵Initial Compromise攻击者通过社交工程手段诱使目标用户如Alice点击恶意链接如钓鱼链接成功进入目标系统。(3)载荷植入Establish Foothold在成功入侵后攻击者在目标计算机上植入恶意代码获得控制权限。(4)提升权限Escalate Privileges攻击者通过注入进程等手段提升权限伪装成目标用户或管理员进一步扩大控制范围。(5)内部侦察Internal Reconnaissance攻击者在目标系统内进行内部侦察获取更多信息如用户名、密码等敏感数据。(6)横向移动Move Laterally攻击者开始在网络内其他计算机上进行横向移动扩大攻击范围。(7)持久化Maintain Presence攻击者通过安装木马、后门等手段确保在系统中的长期存在。(8)完成任务Complete Mission最终攻击者完成其攻击任务如窃取敏感文件或数据等达成攻击目的。相关工作APTs detectionProvenance with logsAttack graph analysis四.本文框架1.总体架构图2展示了高级持续性威胁APT攻击分析中事件识别、溯源图构建以及攻击链提取的过程具体分为两个主要部分事件识别和溯源图与攻击链构建。2.事件识别左侧部分展示了从日志数据库中提取日志字段并通过评分系统对每个字段进行分析。每个日志项会被分配一个得分形成多个事件。图中展示了两个示例事件Event 1 和 Event 2。这些事件可能是由不同的日志字段组成的如Log1: 包含元素如element1、element2等并附带得分Log2: 同样包含不同的元素和相应的得分。这些元素通过与外部攻击行为如外部远程服务连接、软件打包、暴力破解等相关联从而形成有意义的事件。得分帮助系统评估每个元素的重要性最终识别出事件如 E1、E2、E3等。3.溯源图与攻击链构建右侧部分展示了如何从识别到的事件构建攻击溯源图和攻击链。整个过程包括几个步骤从爆炸到简洁From explosion to conciseness开始时事件图可能过于复杂包含大量不相关的信息。需要通过图的优化与简化使事件图更简洁、精准。图构建Graph composition通过识别事件之间的关系如时间序列、相同的攻击目标等将相关事件联系起来形成图结构。权重优化Weight optimization为了消除无关的关系图中的边权重会进行优化。通过优化权重去除对攻击链分析无关紧要的事件提升图的清晰度。社区划分Community detection通过社区检测算法识别出攻击相关的社区。每个社区代表一组紧密相关的攻击行为或事件。溯源图Provenance graph通过社区划分后最终形成攻击的溯源图揭示了攻击事件的顺序和关联。攻击链提取Chain extraction从溯源图中提取出完整的攻击链帮助安全分析人员准确地追溯攻击过程找出所有相关的攻击步骤和行为。在第一部分“事件识别”中系统首先从多种日志源如系统日志、防火墙日志、网络流量数据中收集原始数据并通过正则表达式对日志进行结构化处理。随后采用张量分解挖掘日志中的隐含相关性并使用显著性评分算法评估日志元素的重要性将相关日志聚合为高层的事件。这一步旨在从大量低层次、杂乱无章的日志中抽象出具有语义关联的事件为后续溯源分析提供更高级的输入。在第二部分“溯源图与攻击链构建”中论文首先描述了从事件关系的初步构建开始由于事件之间存在时间、进程、网络、文件访问等多维关系初始图结构往往十分庞大且复杂因此需要进行简化。作者采用权重优化方法通过逻辑回归为不同类别的事件关系赋予不同权重从而削弱无关或弱相关的事件连接解决传统溯源方法中常见的依赖爆炸问题。接着系统对加权后的事件图执行社区划分以识别逻辑相关的事件聚类。为此论文提出了增强版 Louvain 社区检测算法通过改进局部移动策略与划分精炼机制提高社区划分的准确性和稳定性。经过社区划分后系统得到结构化的溯源图用以呈现攻击活动的整体脉络。在最后一步系统从攻击相关的社区中提取攻击链通过事件的时间顺序、进程父子关系以及文件访问顺序等信息构建出攻击行为的完整链条。这使得攻击者从初始入侵到最终目标的各个步骤得以还原从而完成攻击溯源分析的最终目标。整体而言APPROACH OVERVIEW 清晰展示了 T-trace 如何从海量日志出发逐层抽象并构建出清晰、可解释的攻击链路为APT攻击分析提供了系统化的方法框架。五.实验1.数据集与实验设置论文在实验中主要采用两类数据来源一是研究者自行模拟的四类实际APT攻击场景二是公开数据集包括DARPA Transparent Computing数据集和CSE-CIC-IDS2018日志集。模拟环境中目标主机采用Windows 7系统攻击端采用Kali Linux系统并根据已有攻击报告复现了四类APT攻击。同时为更接近真实用户场景实验环境中还加入了网页浏览、聊天等正常用户行为。DARPA数据集来源于2019年5月红队与蓝队对抗演练包含大量正常事件与攻击事件CSE-CIC-IDS2018日志集则用于进一步验证T-trace在大规模日志场景下的效率与准确性。数据集一https://github.com/darpa-i2o/TransparentComputing数据集二https://www.unb.ca/cic/datasets/ids-2018.html实验设置问题Q1. How about the performance of event recognition? (Section VI-B)Q2. How to determine the threshold in event abstraction? (Section VI-C)Q3. Compared with other existing community discovery methods, what is the performance of T-trace’s community division? (Section VI-D)Q4. Based on the attack community obtained after community division, what is the performance of T-trace to construct a complete attack chain? (Section VI-E)Q5. What is the runtime overhead of T-trace to perform provenance graph construction? (Section VI-F)2.事件识别的性能图5展示了在不同参数δ和β取值下系统从日志中提取出的模板数量变化。实验使用50万条连续的原始网络日志和系统日志考察模板提取阶段的参数影响。其中δ表示DBSCAN中的距离阈值β表示模板词在所有词中的占比。实验结果表明δ和β越大提取出的模板数量整体越多。模板数量过多会降低后续张量分解效率模板数量过少又会影响事件抽取准确性甚至导致相邻事件无法区分。综合模板提取能力与后续事件抽取需求论文最终选择β0.6、δ0.01作为后续实验参数。图6展示了不同迭代次数下提取出的事件模板占总模板数量的比例。该指标用于衡量LTF张量分解模型表达日志数据和抽取事件的能力。实验同样基于50万条连续原始网络日志和系统日志先提取约6000个日志模板再观察不同迭代次数下事件模板覆盖比例的变化。结果显示随着迭代次数增加事件模板占比整体提高说明模型对事件结构的抽取能力增强。但迭代次数过高会增加时间开销并带来过拟合风险因此论文认为100次迭代已经能够取得较理想效果虽然200次和500次结果更高但综合效率与稳定性100次更适合作为后续实验设置。图7展示了T-trace与LTF在不同日志数量和不同事件类型下的准确率对比。Fig.7(a)表明随着日志数量增加T-trace的准确率保持较高且相对稳定而LTF准确率则呈下降趋势当日志数量约为7000条时T-trace比LTF高出约38%。Fig.7(b)进一步选取运行示例中的7类攻击阶段事件进行比较结果显示LTF对日志数量变化较敏感而T-trace整体稳定性更好。总体来看T-trace平均准确率约为85%比LTF高约10%—20%说明其在多源日志事件识别中具有更好的鲁棒性。3.事件抽象阈值敏感性分析图9展示了不同顶点阈值和连接阈值对T-trace事件识别准确率的影响。事件抽象过程中阈值过低会保留过多冗余事件使事件粒度过细阈值过高则可能过滤掉关键攻击事件使事件粒度过粗。实验结果表明当顶点阈值设置为0.002、连接阈值设置为1.04×10⁻⁸时T-trace事件识别准确率达到最高约为88%。4.溯源图构建性能实验在DARPA数据集和四类模拟APT攻击场景下将T-trace与Enhanced PeerHunter、Walktrap、Spin-glass以及未细化划分的Louvain算法进行比较。评价指标包括准确率AC、误报率FP并在论文中进一步引入F1-score衡量整体效果。结果表明T-trace通过优化低连通度社区检测减少了攻击相关事件与非攻击事件之间的错误连接使溯源图准确率达到92%误报率低至0.09%与未细化的Louvain算法相比准确率提升约5.5%误报率降低约50%。5.攻击社区划分与攻击链提取攻击社区划分的可视化结果如图10所示图中红色社区表示攻击相关社区其他颜色社区表示攻击无关或弱相关社区。该图用于说明T-trace能够从复杂事件关系图中区分出攻击相关事件集合并为后续攻击链提取提供基础。在攻击链提取实验中论文进一步以CVE-2017-11882漏洞攻击为例说明T-trace的攻击链还原能力。攻击者首先通过钓鱼邮件诱导目标用户下载恶意Word文档用户点击并编辑文档后触发EQNEDT32模块栈溢出并与CC服务器192.168.1.5建立反向TCP连接随后攻击者获得受害主机反向Shell浏览目录和文件并通过FTP将目标文件上传至192.168.1.5。该过程说明T-trace不仅能划分攻击社区还能基于事件顺序、进程关系和文件访问关系恢复较完整的攻击链。6.T-Trace的运行时性能该实验使用CSE-CIC-IDS2018攻击日志比较T-trace与Enhanced PeerHunter在大规模日志条件下的时间开销。结果表明T-trace在社区检测阶段通过设置剪枝判断减少节点局部移动和无效移动判断从而提升计算效率。实验显示T-trace最高可减少约90%的时间成本并且随着迭代次数增加其时间优化优势更加明显。综合PDF实验结果可以看出T-trace的优势主要体现在三个方面第一在事件识别阶段通过张量分解与显著性评分相结合能够比LTF更稳定地从多源日志中抽取高层事件第二在溯源图构建阶段通过权重优化和增强Louvain社区检测缓解依赖爆炸问题使溯源图准确率达到92%、误报率低至0.09%第三在攻击链提取与运行效率方面T-trace能够从攻击相关社区中还原CVE-2017-11882等攻击链并在大规模日志场景下显著降低时间成本。总体而言实验验证了T-trace在APT溯源图构建、攻击链还原和计算效率方面的有效性。六.总结与展望本文围绕APT攻击溯源中“日志语义层次低、攻击链长期隐蔽、事件依赖关系复杂”等问题提出了T-trace方法。该方法通过分析企业审计日志、系统日志和网络流量数据将底层日志记录抽象为具有语义含义的高层事件从而弥合原始日志与安全分析之间的语义鸿沟。在此基础上T-trace进一步利用日志间的因果关系和时间关系构建APT攻击溯源图并通过权重优化和社区划分剔除无关依赖缓解传统溯源图构建中常见的依赖爆炸问题。实验部分通过四类真实APT攻击场景以及DARPA、CSE-CIC-IDS2018等公开数据集对方法进行验证。结果表明T-trace在事件识别、溯源图构建和攻击链还原方面均具有较好表现事件识别准确率较已有方法提升约38%溯源图构建准确率达到92%同时最高可降低约90%的时间成本。这说明T-trace不仅能够从海量日志中提取关键攻击事件还能够较为清晰地还原APT攻击从初始入侵、权限提升、横向移动到最终目标达成的完整过程为安全分析师提供更具解释性和可操作性的攻击场景全景图。后续工作中作者计划在更多平台、系统和数据集上验证T-trace的适用性并进一步结合溯源结果生成更完善的攻击防御指南。同时如何从原始日志中更准确地识别网络事件、如何适应更多类型的真实业务环境、如何提升方法在复杂异构系统中的泛化能力仍是值得继续深入研究的方向。该论文值得学习包括第一问题提出非常清晰方法设计与问题一一对应。论文并不是泛泛讨论APT溯源而是明确抓住三个核心痛点低层日志与高层攻击事件之间存在语义鸿沟、多源日志之间缺乏有效关联、溯源图容易出现依赖爆炸。随后作者分别用事件抽象、日志关联、权重优化和社区划分来回应这些问题整体逻辑非常完整。第二实验设计层次分明图表与方法模块对应紧密。论文实验不是只给最终准确率而是依次验证模板提取、事件识别、阈值选择、溯源图构建、攻击社区划分、攻击链提取和运行效率。每一组实验都对应方法中的一个关键环节这种“模块—指标—图表—结论”的写法值得学习。第三案例分析和可视化表达较强。论文将APT攻击过程拆解为初始侦察、初始入侵、建立立足点、权限提升、内部侦察、横向移动、保持存在和完成任务等阶段并结合溯源图和社区划分展示攻击链还原过程。这种将技术方法与真实攻击场景结合的写法能够增强论文的解释性和说服力也便于读者理解方法的实际应用价值。2024年4月28日是Eastmount的安全星球——『网络攻防和AI安全之家』正式创建和运营的日子该星球目前主营业务为 安全零基础答疑、安全技术分享、AI安全技术分享、AI安全论文交流、威胁情报每日推送、网络攻防技术总结、系统安全技术实战、面试求职、安全考研考博、简历修改及润色、学术交流及答疑、人脉触达、认知提升等。下面是星球的新人券欢迎新老博友和朋友加入一起分享更多安全知识比较良心的星球非常适合初学者和换安全专业的读者学习。目前收到了很多博友、朋友和老师的支持和点赞尤其是一些看了我文章多年的老粉购买来感谢真的很感动类目。未来我将分享更多高质量文章更多安全干货真心帮助到大家。虽然起步晚但贵在坚持像十多年如一日的博客分享那样脚踏实地只争朝夕。继续加油再次感谢(By:Eastmount 2026-07-09 周四夜于贵阳 http://blog.csdn.net/eastmount/ )前文赏析[论文阅读] (01)拿什么来拯救我的拖延症初学者如何提升编程兴趣及LATEX入门详解[论文阅读] (02)SP2019-Neural Cleanse: Identifying and Mitigating Backdoor Attacks in DNN[论文阅读] (03)清华张超老师 - GreyOne: Discover Vulnerabilities with Data Flow Sensitive Fuzzing[论文阅读] (04)人工智能真的安全吗浙大团队外滩大会分享AI对抗样本技术[论文阅读] (05)NLP知识总结及NLP论文撰写之道——Pvop老师[论文阅读] (06)万字详解什么是生成对抗网络GAN经典论文及案例普及[论文阅读] (07)RAID2020 Cyber Threat Intelligence Modeling Based on Heterogeneous GCN[论文阅读] (08)NDSS2020 UNICORN: Runtime Provenance-Based Detector for Advanced Persistent Threats[论文阅读] (09)SP2019 HOLMES Real-time APT Detection through Correlation of Suspicious Information Flow[论文阅读] (10)基于溯源图的APT攻击检测安全顶会总结[论文阅读] (11)ACE算法和暗通道先验图像去雾算法Rizzi | 何恺明老师[论文阅读] (12)英文论文引言introduction如何撰写及精句摘抄——以入侵检测系统(IDS)为例[论文阅读] (13)英文论文模型设计Model Design如何撰写及精句摘抄——以入侵检测系统(IDS)为例[论文阅读] (14)英文论文实验评估Evaluation如何撰写及精句摘抄上——以入侵检测系统(IDS)为例[论文阅读] (15)英文SCI论文审稿意见及应对策略学习笔记总结[论文阅读] (16)Powershell恶意代码检测论文总结及抽象语法树AST提取[论文阅读] (17)CCS2019 针对PowerShell脚本的轻量级去混淆和语义感知攻击检测[论文阅读] (18)英文论文Model Design和Overview如何撰写及精句摘抄——以系统AI安全顶会为例[论文阅读] (19)英文论文Evaluation实验数据集、指标和环境如何描述及精句摘抄——以系统AI安全顶会为例[论文阅读] (20)USENIXSec21 DeepReflect通过二进制重构发现恶意功能恶意代码ROI分析经典[论文阅读] (21)SP21 Survivalism: Systematic Analysis of Windows Malware Living-Off-The-Land (经典离地攻击)[论文阅读] (22)图神经网络及认知推理总结和普及-清华唐杰老师[论文阅读] (23)恶意代码作者溯源(去匿名化)经典论文阅读二进制和源代码对比[论文阅读] (24)向量表征从Word2vec和Doc2vec到Deepwalk和Graph2vec再到Asm2vec和Log2vec一[论文阅读] (25)向量表征经典之DeepWalk从Word2vec到DeepWalk再到Asm2vec和Log2vec二[论文阅读] (26)基于Excel可视化分析的论文实验图表绘制总结——以电影市场为例[论文阅读] (27)AAAI20 Order Matters: 二进制代码相似性检测腾讯科恩实验室[论文阅读] (28)李沐老师视频学习——1.研究的艺术·跟读者建立联系[论文阅读] (29)李沐老师视频学习——2.研究的艺术·明白问题的重要性[论文阅读] (30)李沐老师视频学习——3.研究的艺术·讲好故事和论点[论文阅读] (31)李沐老师视频学习——4.研究的艺术·理由、论据和担保[论文阅读] (32)南洋理工大学刘杨教授——网络空间安全和AIGC整合之道学习笔记及强推InForSec[论文阅读] (33)NDSS2024 Summer系统安全和恶意代码分析方向相关论文汇总[论文阅读] (34)EWAS2024 基于SGDC的轻量级入侵检测系统[论文阅读] (35)TIFS24 MEGR-APT基于攻击表示学习的高效内存APT猎杀系统[论文阅读] (36)CS22 MPSAutodetect基于自编码器的恶意Powershell脚本检测模型[论文阅读] (37)CCS21 DeepAID基于深度学习的异常检测解释[论文阅读] (38)基于大模型的威胁情报分析与知识图谱构建论文总结读书笔记[论文阅读] (39)EuroSP25 CTINEXUS基于大模型的威胁情报知识图谱自动构建[论文阅读] (40)CCS24 PowerPeeler一种通用的PowerShell脚本动态去混淆方法[论文阅读] (41)JISA24 物联网环境下基于少样本学习的攻击流量分类[论文阅读] (42)ASC25 基于大语言模型的未知Web攻击威胁检测[论文阅读] (43)ESWA25 评估大模型在真实攻击活动的恶意代码解混淆能力[论文阅读] (44)一种基于LLM少样本多标签的Android恶意软件检测方法[论文阅读] (45)CS24 AISL: 基于攻击意图驱动与序列学习方法的APT攻击检测[论文阅读] (46)IDS-Agent: 一种用于物联网可解释入侵检测的大模型Agent[论文阅读] (47)LAMD: 基于大模型上下文驱动的Android恶意软件检测与分类[论文阅读] (48)TIFS24 基于注意力的恶意软件API定位技术[论文阅读] (49)JNCA24 网络威胁狩猎演化技术综述[论文阅读] (50)TDSC23 T-Trace基于多源系统日志关联的APT溯源图构建