原 Hadoop学习笔记(1)--HDFS
HDFS的特性 对于整个集群有单一的命名空间； 具有数据一致性，都适合一次写入多次读取的模型，客户端在文件没有被成功创建之前是无法看到文件存在的； 文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且会根据配置由复制文件块来保证数据的安全性。 HD … 阅读全文
首页 » 大数据 ( 第 3 页 )
原 Hadoop学习笔记—初探
学习过Storm，在这将MapReduce和Storm先进行比较。 更加有助学习。 MapReduce Storm JobTracker Nimbus Role TaskTracker Supervisor Child Worker Application J … 阅读全文
原 [Storm学习笔记]Storm日志配置logback
默认的Storm日志配置不是很好用,这里改成按照天生成日志， 并且每天产生的日志再进行大小切分。 <?xml version="1.0"?> <configuration scan="true" scanPeriod="60 seconds" … 阅读全文
原 [Storm学习笔记]Storm安装与配置
各版本Linux安装可能都不太一样，这里我用的还是自己的Ubuntu15.04工作机来安装的。 生产环境可能是CentOS或者其他版本Linux 如果使用Netty作为消息中间件的话，可以不用安装zeromq，jzeromq 安装Python 安装JDK配置 … 阅读全文
原 [Storm学习笔记]Storm基础学习笔记
Storm基础学习笔记 Storm特点 用例非常广泛 可伸缩性 保证没有数据丢失 强壮的鲁棒性 容错性好 编程语言无关 Storm框架核心 以下为个人的理解，如有错误，请帮忙指摘。大部分对比Spring的JMS处理机制来理解。 暂不对比Netty实现。 Spo … 阅读全文
原 [Storm学习笔记]ZooKeeper安装与配置
Ubuntu下的安装 下载Zookeeper源码包 下载地址:(http://zookeeper.apache.org/releases.html),这里下载的最新稳定版本zookeeper-3.4.7.tar.gz 安装Zookeeper 将Zookeepe … 阅读全文