基于联邦学习的异常日志检测
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

福建省电力有限公司科技项目 (52133023000C)


Abnormal Log Detection Based on Federated Learning
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    Hadoop系统作为大数据存储的分布式架构被广泛使用, 运行时生成大量日志数据来记录设备的异常情况, 这为定位和分析问题提供重要线索. 然而, 传统的日志异常检测模型通常在中心服务器上收集日志数据, 导致数据收集过程中存在敏感信息泄露的风险. 联邦学习作为一种新的机器学习范式, 通过在本地服务器上训练模型并仅在中心服务器上聚合模型参数, 有效解决了数据隐私问题. 本文提出了一种基于联邦学习的日志异常检测架构, 结合本地服务器和中心服务器进行检测任务, 避免了敏感信息在网络传输过程中的泄露风险. 此外, 本文采用树解析器实现日志模板标准化. 为了有效地捕获日志数据中的复杂模式和异常行为, 建立基于自注意力机制的BiLSTM模型作为本地服务器模型. 为了验证所提出方法的有效性, 本文使用公开的分布式系统架构数据集进行仿真实验. 结果表明, 该模型的综合评价指标稳定, 准确率保持在93%以上, 具有较高的适用性.

    Abstract:

    The Hadoop system is widely used as a distributed architecture for big data storage. It generates a large amount of log data during runtime to record device anomalies, which provides important clues for locating and analyzing problems. However, traditional log anomaly detection models typically collect log data on a central server, which introduces the risk of sensitive information leakage during data collection. Federated learning, a novel machine learning paradigm, effectively protects data privacy by training models on local servers and aggregating model parameters only on a central server. This study proposes a log anomaly detection architecture based on federated learning, which combines local and central servers to perform detection tasks, avoiding the risk of leaking sensitive information during network transmission. Additionally, it employs a tree parser to standardize log templates. To effectively capture complex patterns and anomalous behaviors in log data, a BiLSTM model based on the self-attention mechanism is established as a local server model. To validate the effectiveness of the proposed method, simulation experiments are conducted using publicly available datasets of distributed systems. The results demonstrate that the model maintains stable comprehensive evaluation metrics, with an accuracy rate above 93%, indicating high applicability.

    参考文献
    相似文献
    引证文献
引用本文

连宇瀚,廖声扬,张坤三,邹维福,林楠.基于联邦学习的异常日志检测.计算机系统应用,2024,33(12):78-88

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-05-17
  • 最后修改日期:2024-06-17
  • 录用日期:
  • 在线发布日期: 2024-10-31
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号