Hadoop操作HDFS命令

el/2024/4/13 15:40:29

转载自:http://www.juziku.com/sunlightcs/wiki/6017.htm

hadoop fs
查看Hadoop HDFS支持的所有命令

hadoop fs –ls
列出目录及文件信息

hadoop fs –lsr
循环列出目录、子目录及文件信息

hadoop fs –put test.txt /user/sunlightcs
将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下

hadoop fs –get /user/sunlightcs/test.txt .
将HDFS中的test.txt复制到本地文件系统中,与-put命令相反

hadoop fs –cat /user/sunlightcs/test.txt
查看HDFS文件系统里test.txt的内容

hadoop fs –tail /user/sunlightcs/test.txt
查看最后1KB的内容

hadoop fs –rm /user/sunlightcs/test.txt
从HDFS文件系统删除test.txt文件,rm命令也可以删除空目录

hadoop fs –rmr /user/sunlightcs 
删除/user/sunlightcs目录以及所有子目录

hadoop fs –copyFromLocal test.txt /user/sunlightcs/test.txt
从本地文件系统复制文件到HDFS文件系统,等同于put命令

hadoop fs –copyToLocal /user/sunlightcs/test.txt test.txt
从HDFS文件系统复制文件到本地文件系统,等同于get命令

hadoop fs –chgrp [-R] /user/sunlightcs
修改HDFS系统中/user/sunlightcs目录所属群组,选项-R递归执行,跟linux命令一样

hadoop fs –chown [-R] /user/sunlightcs
修改HDFS系统中/user/sunlightcs目录拥有者,选项-R递归执行

hadoop fs –chmod [-R] MODE /user/sunlightcs
修改HDFS系统中/user/sunlightcs目录权限,MODE可以为相应权限的3位数或+/-{rwx},选项-R递归执行

hadoop fs –count [-q] PATH
查看PATH目录下,子目录数、文件数、文件大小、文件名/目录名

hadoop fs –cp SRC [SRC …] DST      
将文件从SRC复制到DST,如果指定了多个SRC,则DST必须为一个目录

hadoop fs –du PATH
显示该目录中每个文件或目录的大小

hadoop fs –dus PATH
类似于du,PATH为目录时,会显示该目录的总大小

hadoop fs –expunge 
清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除

hadoop fs –getmerge SRC [SRC …] LOCALDST [addnl]     
获取由SRC指定的所有文件,将它们合并为单个文件,并写入本地文件系统中的LOCALDST,选项addnl将在每个文件的末尾处加上一个换行符

hadoop fs –touchz PATH  
创建长度为0的空文件

hadoop fs –test –[ezd] PATH    
对PATH进行如下类型的检查:
-e PATH是否存在,如果PATH存在,返回0,否则返回1
-z 文件是否为空,如果长度为0,返回0,否则返回1
-d 是否为目录,如果PATH为目录,返回0,否则返回1

hadoop fs –text PATH
显示文件的内容,当文件为文本文件时,等同于cat,文件为压缩格式(gzip以及hadoop的二进制序列文件格式)时,会先解压缩

hadoop fs –help ls
查看某个[ls]命令的帮助文档


http://www.ngui.cc/el/4999768.html

相关文章

hadoop 创建用户及hdfs权限,hdfs操作等常用shell命令

添加一个hadoop组sudo addgroup hadoop 将当前用户larry加入到hadoop组 sudo usermod -a -G hadoop larry 将hadoop组加入到sudoer sudo gedit etc/sudoers 在root ALL(ALL) ALL后 hadoop ALL(ALL) ALL 修改hadoop目录的权限 sudo chown -R larry:hadoop /home/larry/hadoop…

linux的chmod命令使用详解

在Unix和Linux的各种操作系统下,每个文件(文件夹也被看作是文件)都按读、写、运行设定权限。 例如我用ls -l命令列文件表时,得到如下输出: -rw-r--r-- 1 bu users 2254 2006-05-20 13:47 tt.htm 从第二个字符起rw-是说用户bu有读、…

Shell脚本编写教程

 建立一个脚本 Linux中有好多中不同的shell,但是通常我们使用bash (bourne again shell) 进行shell编程,因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash(但是在大多数情况下&#xff0c…

win 7 home版R package打包、发布、安装

 首先,当然需要安装好R(假设安装目录为C:\Program Files\R\R-3.0.2)和Rtools(假设安装目录为C:\Rtools)。如果需要生成pdf文档,还需安装一个TeX工具(MikTex或CTeX&…

美国公开课网址

 耶鲁大学公开课程:http://oyc.yale.edu/ 麻省理工大学公开课程:http://ocw.mit.edu/ 斯坦福大学公开课程:http://itunes.stanford.edu/ 加州大学伯克利分校公开课程:http://webcast.berkeley.edu/cou…

Linux Mint下中文输入法的配置

1. 直接执行:sudo apt-get install ibus (可选) sudo apt-get install ibus-pinyin ibus-pinyin-db-android 2. 到 “控制中心>language support语言支持” 里面,把“键盘输入方式系统“设置为”ibus”。 3. 在“添加或删除语言”里面&#xff0c…

linux上安装QQ(QQ版本太低已不支持)

1.通过软件管理中心,或在终端安装(假设版本为1.5)安装wine。 sudo add-apt-repository ppa:ubuntu-wine/ppasudo apt-get updatesudo apt-get install wine1.5sudo apt-get install winetricks 或者 在64位的Ubuntu上,安装ia32-l…

Linux上安装R

1.修改源列表文件:sudo vi /etc/apt/sources.list 在该文件中添加:deb http://cran.stat.upd.edu.ph/bin/linux/ubuntu precise/

Ubuntu下R包XML的安装

直接在RStudio中安装,不成功,报错:installation of package xml had non-zero exit status 需要先在Terminal中安装libxml2-dev sudo apt-get install libxml2-dev 然后在Rgui或RStudio中安装XML package 注:安装其它包发生类…

如何使用“没有公钥,无法验证签名“的软件源

有时我们在/etc/apt/sources.list添加了软件源,或者用add-apt-repository增加了一个PPA repository,然后执行命令sudo apt-get update后会出现类似如下的错误: GPG 错误:XXXXX: 由于没有公钥,无法验证下列签名: NO_PUBKEY AED4B06F473041FA 原因主要是使用了未经验证的第…