转 nginx配置location总结及rewrite规则写法
location正则写法 一个示例： location = / { # 精确匹配 / ，主机名后面不能带任何字符串 [ configuration A ] } location / { # 因为所有的地址都以 / 开头，所以这条规则将匹配到所有请求 # 但是正 … 阅读全文
原 SpringBoot之DataSource配置属性
SpringBoot 约定优于配置。 datasource spring.dao.exceptiontranslation.enabled 是否开启PersistenceExceptionTranslationPostProcessor，默认为true,不用自 … 阅读全文
原 自动删除Linux过期日志
Nginx Access日志越来越多，磁盘堆积的也越来越多。 前面写过脚本备份过日志，这里写一个自动删除过期日志的脚本。 #!/bin/bash #扫描的base路径 p_prefix='/opt/deploy/' #日志后缀路径 p_suffix='/log … 阅读全文
原 Hive,Pig,Hbase总结
Hive Hive用SQL的方式去描述MapReduce。 会写SQL基本就能够写出MapReduce出来了，解放了数据分析人员。 Hive在Hadoop中是数据仓库的角色。建立在Hadoop集群的最顶层，面向行存储。 ，对存储在Hadoop群上的数据提供类S … 阅读全文
原 Hadoop学习笔记(14)--Pig使用
以下使用PIG来做一个最简单的统计。 统计网站服务某一个nginx日志，在一天之内，存在哪些频繁访问的IP。 以前曾使用awk来做过类似的统计，具体可参看以前的文章。 首先，nginx日志格式如下： 121.42.0.88 - - [10/May/2016:0 … 阅读全文
原 Hadoop学习笔记(13)--Pig安装
安装配置Pig mkdir -p /opt/hadoop/pig wget http://mirror.bit.edu.cn/apache/pig/pig-0.16.0/pig-0.16.0.tar.gz tar -zxvf pig-0.16.0.tar.gz … 阅读全文
原 使用ELK搭建实时日志分析系统(3)
利用ELK分析Log4j日志 举一个处理log4j格式类型的例子。 日志格式大概如下: 属于比较常规的log4j日志. 主要是需要将Java的堆栈合并成单行。 2016-06-02 15:16:50,330 [ActiveMQ Session Task-270 … 阅读全文
转 Hbase常用命令
进入hbase shell console $HBASE_HOME/bin/hbase shell 如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令）， 认证成功之后再使用hbase shell进入可以使用whoami … 阅读全文
原 Hadoop学习笔记(12)--Hbase安装
安装配置 Hbase需要zookeeper的支持，本博客有专门写zookeeper安装教程的可参看。 单机安装的话可以用Hbase自带的，伪分布安装的话自己安装一个Zookeeper即可。 下面HBASE_MANAGES_ZK=false: false使用自带 … 阅读全文
原 使用ELK搭建实时日志分析系统(2)
利用Redis分布式收集日志 安装Redis 这个不用介绍了，本博客也有安装教程 Logstash中的redis 配置选项(部分) data_type 可选项为:["list", "channel", "pattern_channel"] list即为BLPO … 阅读全文