原 Hadoop学习笔记(3)--Hive
Hive是建立在Hadoop上的数据仓库基础构架。 它提供了一系列的工具，用来进行数据提取、转化、加载，这是一种可以存储 、查询和分析存储在Hadoop中的大规模数据的机制。 根据管理层次 （1）元数据存储 Hive将元数据存储在RDBMS中，有三种模式可以连 … 阅读全文
原 Hadoop学习笔记(2)--Hbase
HBase是一个类似Bigtable的分布式数据库，大部分特性和Bigtable一样; 是一个稀疏的、长期存储的（存在硬盘上）、多维度的排序映射表; 表的索引是行关键字、列关键字和时间戳; 表中的每个值是一个纯字符数组，数据都是字符串，没有类型; 用户在表格中 … 阅读全文
原 Hadoop学习笔记(1)--HDFS
HDFS的特性 对于整个集群有单一的命名空间； 具有数据一致性，都适合一次写入多次读取的模型，客户端在文件没有被成功创建之前是无法看到文件存在的； 文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且会根据配置由复制文件块来保证数据的安全性。 HD … 阅读全文
原 Hadoop学习笔记—初探
学习过Storm，在这将MapReduce和Storm先进行比较。 更加有助学习。 MapReduce Storm JobTracker Nimbus Role TaskTracker Supervisor Child Worker Application J … 阅读全文
原 强大的日志分析工具GoAccess
前面使用过简单的脚本屏蔽过一些访问过多的ip。 其实还有很多工具，可以来分析这些日志。比如GoAccess. GoAccess 是一款用于Apache或者Nginx的命令行日志分析器和交互式查看器。 官方网站:https://goaccess.io/,目前最新 … 阅读全文
原 Nginx自动屏蔽频繁访问的IP
生产环境如果存在IP过于频繁的访问,可能会频繁查询数据库,从而导致机器负载很高, 所以需要屏蔽掉相关访问频繁的IP。 取得IP之后通过nginx进行屏蔽 原理 nginx配置中allow,deny ip来进行权限屏蔽。 可创建一个blockip.conf,将屏 … 阅读全文
原 iptables命令整理
以下是iptables的帮助说明： [root@localhost sahinn]# iptables --help iptables v1.4.21 Usage: iptables -[ACD] chain rule-specification [optio … 阅读全文
原 JDK命令行工具相关整理(3)
jstatd 启动jvm监控服务。它是一个基于rmi的应用，向远程机器提供本机jvm应用程序的信息。默认端口1099。 一个监控守护进程而已，需要配合其他命令行工具发挥功效。 <br />#创建一个policy文件，提供权限 cd /tmp/ to … 阅读全文
原 JDK命令行工具相关整理(2)
接上一篇blog。 jinfo 用于查询当前运行这的JVM属性和参数的值。 常用的参数为： 参数名 解释 -flag 显示未被显示指定的参数的系统默认值 -flag [+|-]name或-flag name=value 修改部分参数 -sysprop … 阅读全文
原 JDK命令行工具相关整理(1)
生产环境上的JVM监控，有时候不方便用可视化的工具来操作。 这里整理一下平常自己使用的JDK自带的一些常用工具。 jps jps命令用于查询正在运行的JVM进程， 常用的参数为： 参数名 解释 -q 只输出LVMID，省略主类的名称 -m 输出虚拟机进程启动时 … 阅读全文