首页 > 服务器 > 服务器教程 > 正文

Hadoop LZO安装的详细教程

时间:2018年10月11日
下面是小编给大家分享的一篇Hadoop LZO安装的详细教程,感兴趣的朋友跟小编一起来了解一下吧!

下面是小编给大家分享的一篇Hadoop LZO安装的详细教程,感兴趣的朋友跟小编一起来了解一下吧!

1.安装 Hadoop-gpl-compression
1.1 wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz
1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/Linux-amd64-64/

1.3 cp hadoop-gpl-compression-0.1.0/hadoop-gpl-compression-0.1.0.jar /usr/local/hadoop-1.0.2/lib/

2.安装 lzo
apt-get install gcc
apt-get install lzop

3.在本地测试 可以 执行 压缩及解压缩命令
下载 https://github.com/kevinweil/hadoop-lzo/zipball/master
解压包
export CFLAGS=-m64
export CXXFLAGS=-m64
//用于 hadoop0.20 ,所以1.0未必适用
进行build
ant compile-native tar
将生成的 build/hadoop-lzo-0.4.15.jar cp 到 /usr/local/hadoop-1.0.2/lib

测试解压程序
bin/hadoop jar /usr/local/hadoop-1.0.2/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.LzoIndexer /home/hadoop/project_hadoop/aa.html.lzo

linux

以上就是关于Hadoop LZO安装的详细教程,想必都了解了吧,更多相关内容请继续关注爱站技术频道。

上一篇:Nginx安装配置的详细教程

下一篇:CentOS 5.5配置NFS的详细教程

爱站科技 ©2017版权所有 免责声明 粤ICP备13073302号-3 粤公网安备 44030302000085号 热门关键词