0

0

Linux日志集中管理思路_多主机统一分析方案【教程】

冰川箭仙

冰川箭仙

发布时间:2025-12-30 15:28:37

|

852人浏览过

|

来源于php中文网

原创

实现Linux日志集中管理需分五步:一、用rsyslog部署TCP/UDP日志服务器并按IP分离存储;二、以Fluentd采集结构化日志并转发;三、通过ELK Stack完成解析、索引与可视化;四、用Prometheus+Loki实现轻量级日志指标联动;五、借助rsyslog+MySQL进行结构化归档与SQL审计查询。

linux日志集中管理思路_多主机统一分析方案【教程】

如果您需要对多台Linux主机的日志进行统一收集、存储与分析,则可能面临日志分散、格式不一、时间不同步及检索困难等问题。以下是实现Linux日志集中管理与多主机统一分析的具体路径:

一、部署Syslog服务器(rsyslog + TCP/UDP)

rsyslog作为成熟稳定的系统日志服务,支持高吞吐量转发与本地规则过滤,可作为中心日志接收端,通过TCP或UDP协议聚合来自各客户端的日志流。

1、在目标服务器上安装rsyslog:执行 sudo apt install rsyslog(Debian/Ubuntu)或 sudo yum install rsyslog(RHEL/CentOS)。

2、编辑主配置文件 /etc/rsyslog.conf,取消以下两行注释以启用TCP监听:
  $ModLoad imtcp
  $InputTCPServerRun 514

3、创建独立配置文件 /etc/rsyslog.d/01-remote.conf,添加规则将不同主机日志按IP分离存储:
  if $fromhost-ip == '192.168.1.10' then /var/log/hosts/web01.log
  & stop

4、重启服务:运行 sudo systemctl restart rsyslog 并确认监听状态:sudo ss -tlnp | grep :514

二、使用Fluentd作为日志采集与路由中间件

Fluentd具备灵活的插件体系,支持从多种来源(包括syslog、文件、journald)采集日志,并可按标签、字段、正则等条件进行结构化处理与分发,适配异构环境下的日志标准化需求。

1、在所有客户端主机安装Fluentd:执行 curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-xenial-td-agent3.sh | sh(Ubuntu)或对应发行版脚本。

2、修改配置文件 /etc/td-agent/td-agent.conf,定义输入源为本机journald并添加host字段标识:
  
   @type systemd
   tag host.journal
   read_from_head true
  

3、配置输出至中心Fluentd或Elasticsearch:
  
   @type forward
   
     host 192.168.1.100
     port 24224
   
  

4、启动服务并验证连接:sudo systemctl start td-agent;在中心节点运行 sudo tcpdump -i any port 24224 -c 2 检查数据包到达情况。

三、基于ELK Stack构建可视化分析平台

Elasticsearch提供分布式索引与全文检索能力,Logstash负责日志解析与转换,Kibana实现交互式仪表盘与多维度查询,三者组合构成完整的日志分析闭环。

1、在中心服务器部署Elasticsearch:下载对应版本tar包,解压后修改 config/elasticsearch.yml,设置 network.host: 0.0.0.0discovery.type: single-node

2、配置Logstash管道文件 /etc/logstash/conf.d/syslog-to-es.conf,定义输入为TCP端口514,使用grok过滤器提取timestamp、host、program、message字段:
  filter { grok { match => { "message" => "%{SYSLOGTIMESTAMP:timestamp} %{IPORHOST:host} %{DATA:program}(?:\[%{POSINT:pid}\])?: %{GREEDYDATA:message}" } } }

3、配置output指向本地Elasticsearch:
  output { elasticsearch { hosts => ["http://127.0.0.1:9200"] index => "syslog-%{+YYYY.MM.dd}" } }

4、启动Logstash并确认索引生成:sudo systemctl start logstash;访问 http://192.168.1.100:9200/_cat/indices?v 查看是否出现 syslog-* 索引。

四、采用Prometheus + Loki实现轻量级日志指标联动

Loki专为日志设计,不索引全文而仅索引标签,配合Prometheus可将日志流与指标数据在Grafana中同屏比对,适用于资源受限但需关联分析的场景。

1、在中心节点部署Loki:下载静态二进制文件,创建配置文件 loki-local-config.yaml,启用filesystem保留策略并开放HTTP端口3100。

2、在每台被监控主机部署Promtail,配置其读取 /var/log/**/*.log 并附加静态标签:
  static_configs:
  - targets: [localhost]
    labels:
     job: system_logs
     host: web01

3、启动Promtail服务:./promtail-linux-amd64 -config.file=loki-local-config.yaml;检查日志是否上报至Loki:curl "http://192.168.1.100:3100/loki/api/v1/labels"

4、在Grafana中添加Loki数据源,新建Dashboard,使用LogQL查询如 {job="system_logs"} |= "error" 实时筛选错误日志。

五、利用rsyslog + MySQL实现结构化归档与SQL查询

对于审计合规类场景,需将日志持久化至关系型数据库以便执行精确字段匹配、时间范围统计及权限控制,rsyslog内置ommysql模块可直接写入MySQL表。

1、在中心服务器安装MySQL并创建日志库:CREATE DATABASE syslogdb CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

2、创建专用用户并授权:CREATE USER 'rsyslog'@'%' IDENTIFIED BY 'SecurePass123!'; GRANT INSERT ON syslogdb.* TO 'rsyslog'@'%';

3、导入rsyslog默认表结构:mysql -u root -p syslogdb (路径依发行版略有差异)。

4、启用ommysql模块并在 /etc/rsyslog.d/50-mysql.conf 中配置写入参数:
  $ModLoad ommysql
  *.* :ommysql:192.168.1.100,syslogdb,rsyslog,SecurePass123!

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

674

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

319

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

345

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

1084

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

355

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

671

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

564

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

408

2024.04.29

JavaScript 性能优化与前端调优
JavaScript 性能优化与前端调优

本专题系统讲解 JavaScript 性能优化的核心技术,涵盖页面加载优化、异步编程、内存管理、事件代理、代码分割、懒加载、浏览器缓存机制等。通过多个实际项目示例,帮助开发者掌握 如何通过前端调优提升网站性能,减少加载时间,提高用户体验与页面响应速度。

3

2025.12.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
MySQL 教程
MySQL 教程

共48课时 | 1.5万人学习

MySQL 初学入门(mosh老师)
MySQL 初学入门(mosh老师)

共3课时 | 0.3万人学习

简单聊聊mysql8与网络通信
简单聊聊mysql8与网络通信

共1课时 | 776人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号