存档

‘大数据’ 分类的存档

Cloudera Manager 5和CDH5离线安装

2016年2月1日 没有评论

一、相关软件准备及规划

1、相关软件及下载地址:

Cloudera Manager:http://archive-primary.cloudera.com/cm5/cm/5/
CDH安装包地址:http://archive.cloudera.com/cdh5/parcels[......]

Read more

分类: 大数据 标签:

常用hadoop dfs命令

2015年2月24日 没有评论

创建目录

hadoop dfs -mkdir /home

上传文件或目录到hdfs

hadoop dfs -put hello /
hadoop dfs -put hellodir/ /

查看目录

hadoop df[......]

Read more

分类: 大数据 标签:

开源日志系统比较:scribe、chukwa、kafka、flume

2015年2月7日 没有评论

1. 背景介绍

许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:

(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;

(2) 支持近实时的在线[......]

Read more

分类: 大数据 标签: