原 使用ELK搭建实时日志分析系统(2)
利用Redis分布式收集日志 安装Redis 这个不用介绍了，本博客也有安装教程 Logstash中的redis 配置选项(部分) data_type 可选项为:["list", "channel", "pattern_channel"] list即为BLPO … 阅读全文
首页 » 2016 ( 第 4 页 )
原 使用ELK搭建实时日志分析系统(1)
ELK是一组完全开源工具，包括Logstash,Kibana,ElasticSearch。 其中包含Logstash,kibana,ElasticSearch,Redis等组件。 用于对日志进行过滤、分析、收集、汇总、展示、搜索等。 LogStash类似于Fl … 阅读全文
原 Hadoop学习笔记(11)--Hive基础使用
创建数据(文本以tab分隔) 创建数据 touch test.txt vim test.txt 创建以Tab分隔 1 zhangsan 20 Beijing 2 lisi 13 changsha 3 wangwu 31 chengdu 4 liuliu 14 … 阅读全文
原 Hadoop学习笔记(10)--Hive安装
以下都是Hive 2.0.1的安装指南 下载Hive2.0.1 1.X版本可能和2.x版本安装有所差异。 wget http://mirror.bit.edu.cn/apache/hive/hive-2.0.1/apache-hive-2.0.1-bin.ta … 阅读全文
原 Hadoop学习笔记(9)--Yarn
MapReduce V1 版本中，JobTracker单点瓶颈问题是影响Hadoop稳定性(可扩展性，内存消耗，线程模型，可靠性和性能上的缺陷)的重要因素。需要处理所有的资源分配，管理所有的心跳信息等。容易造成作业分配不均，作业延迟严重等等问题。 MapRed … 阅读全文
转 Leiningen中文教程
Leiningen教程 英文原文 原文链接 Leiningen是什么 Leiningen是一个用于自动化（构建）clojure项目的工具，使你免于心急火燎的窘境。 它处理各种各样项目相关的任务，可以做到： 创建新项目 管理你的项目的依赖关系 运行测试 运行一个 … 阅读全文
原 Hadoop学习笔记(8)--MapReduce工作机制
任务执行流程 代码编写→作业配置→作业提交→Map任务的分配和执行→处理中间结果→Reduce任务的分配和执行→作业完成， 每个任务的执行过程中，又包含输入准备→任务执行→输出结果。 各角色分工 1.客户端（Client）：编写MapReduce代码，配置作业 … 阅读全文
原 Hadoop学习笔记(7)--HDFS常用命令
FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。 URI格式是scheme://authority/path。 对HDFS文件系统，scheme是hdfs，对 … 阅读全文
原 Hadoop学习笔记(6)--系统配置
Hadoop参数API org.apache.hadoop.conf：定义了系统参数的配置文件处理API； org.apache.hadoop.fs：定义了抽象的文件系统API； org.apache.hadoop.dfs：Hadoop分布式文件系统（HDFS … 阅读全文
原 Hadoop学习笔记(5)--MapReduce计算模型
执行MapReduce任务的有两个角色： 一个是JobTracker， 另一个是TaskTracker。 每个MapReduce任务都被初始化为一个Job。每个Job又可以分为两个阶段： Map阶段和Reduce阶段，即对应Map函数和Reduce函数 Map … 阅读全文