首页 » 大数据 » 使用ELK搭建实时日志分析系统(1)

原 使用ELK搭建实时日志分析系统(1)

　
暂无评论　4,197次浏览
文章目录

ELK是一组完全开源工具，包括Logstash,Kibana,ElasticSearch。

其中包含Logstash,kibana,ElasticSearch,Redis等组件。
用于对日志进行过滤、分析、收集、汇总、展示、搜索等。

LogStash类似于Flume,Redis类似Kafka,外加能搜索,能展示。

官网为:
https://www.elastic.co/products/logstash
https://www.elastic.co/products/kibana
https://www.elastic.co/products/elasticsearch

下载安装ElasticSearch

Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎。它能帮助你搜索、分析和浏览数据。无论你是需要全文搜索、结构化数据的实时统计以及分析，Elasticsearch都可以完成。


[root@piaowutestdb logstash]# useradd -m logstash -s /bin/bash
[root@piaowutestdb logstash]# passwd logstash

sudo mkdir -p /opt/logstash/elasticsearch
sudo cd /opt/logstash/elasticsearch
sudo chown -R logstash.logstash /opt/logstash/

wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.3/elasticsearch-2.3.3.tar.gz

tar -zxvf elasticsearch-2.3.3.tar.gz

#默认配置启动即可
bin/elasticsearch -d

#外部机器可访问，修改elasticsearch.yml
network.host: 0.0.0.0

#校验是否启动成功
[logstash@piaowutestdb logs]$ curl -X GET http://localhost:9200/
{
  "name" : "Slither",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.3.3",
    "build_hash" : "218bdf10790eef486ff2c41a3df5cfa32dadcfde",
    "build_timestamp" : "2016-05-17T15:40:04Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.0"
  },
  "tagline" : "You Know, for Search"
}

#安装Head插件
bin/plugin install mobz/elasticsearch-head

#查看插件
bin/plugin list

#运行以下可以看到数据导入效果了
http://localhost:9200/_plugin/head/

安装LogStash

mkdir -p /opt/logstash/logstash
cd /opt/logstash/logstash

wget https://download.elastic.co/logstash/logstash/logstash-2.3.2.tar.gz
tar -zxvf logstash-2.3.2.tar.gz

mkdir etc
cd etc/
touch indexServer.conf


#在indexServer.conf中添加如下配置

input {
    file {
        path => ["/opt/deploy/engine-distribute-test-split2/apache-tomcat-7.0.55/logs/engine.log"]
    }
}
output{
   #输出到标准输出
   stdout {}
   #输出到elasticsearch
   elasticsearch {
        hosts => ["127.0.0.1:9200"]
    }
}

/opt/logstash/logstash/logstash-2.3.2/bin/logstash -f /opt/logstash/logstash/logstash-2.3.2/etc/indexServer.conf

下载安装Kibana

Kibana是ES集群的一个查询引擎,是一个基于浏览器页面的Elasticsearch前端展示工具，默认的配置（安装路径/config.js ）中。
注意:较新版本的Kibana已经不需要再安装nginx了，自带Web服务。
Kibana 4.5.x 需要 Elasticsearch 2.3.x 版本。

mkdir -p /opt/logstash/kibana
cd /opt/logstash/kibana

wget https://download.elastic.co/kibana/kibana/kibana-4.5.1-linux-x64.tar.gz
tar -zxvf kibana-4.5.1-linux-x64.tar.gz

#修改kibana配置
vim config/kibana.yml 

#配置,默认就是本机
elasticsearch.url: "http://localhost:9200"

#启动kibana
nohup ./bin/kibana &

#校验kibana
http://yourhost.com:5601

#查看状态
http://172.16.3.145:5601/status


原文链接：使用ELK搭建实时日志分析系统(1)，转载请注明来源！

赞 0