【Hadoop-H D F S读写流程】

如上图所示hdfs的读写流程明确hdfe分布式系统的优势①存储量大②安全性高有备份一般是3个备份③高容错性不怕机器坏数据不会丢任务不用从头跑。因此windows 的数据文件首先通过 Linux 管理系统平台 传递给在linux虚拟机上部署的node1上的NamenodeNamenode将数据进行调度分配将传入的数据分配给node1上的Datenodenode1上的Datenode将数据的备份传给node2node2上的Datenode再将数据的备份传给node3,node3上的数据传输好以后node3上的Datenode会返回部署完成的指令给node1上的Namenode最后无报错即运行成功。注①windows上的文件可以直接从本地添加到hdfs如果要写进去需要再装载Linux 管理系统平台 通过此平台进行写入------hadoop核心系统的主要功能和流程② Linux 虚拟机上的文件要用hadoop的读写语句写入到hdfs中即 Linux 上的文件和 Linux 上装的hadoop是处于隔绝的状态hadoop中的运算程序MapReduce它只能计算存放在HDFS上的数据因此我们必须将Linux上的文件fs -put 进hadoop中去。③Mapreuce 程序运行需要资源所以必须开启 Yarn 集群。④综上所述hadoop核心系统的流程是数据最先进入hdfs系统再开启Yarn集群再进行MapReduce运算。HDFS 常用命令集合1.启动命令start-dfs.sh可以启动hadoop2.cmd 要执行的核心子命令Hadoop fs -cmd argscmdfs fs是核心子命令前面不需要加 ‘-’核心子命令后面要加参数3.列出可以运行的命令hadoop fs即不添加任务具体的执行命令Hadoop 就会列出命令行接口的帮助信息如下所示[rootnode01 ~]# hadoop fs Usage: hadoop fs [generic options] [-appendToFile localsrc ... dst] [-cat [-ignoreCrc] src ...] [-checksum src ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] MODE[,MODE]... | OCTALMODE PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-copyFromLocal [-f] [-p] [-l] localsrc ... dst] [-copyToLocal [-p] [-ignoreCrc] [-crc] src ... localdst] [-count [-q] [-h] [-v] [-x] path ...] [-cp [-f] [-p | -p[topax]] src ... dst] [-createSnapshot snapshotDir [snapshotName]] [-deleteSnapshot snapshotDir snapshotName] [-df [-h] [path ...]] [-du [-s] [-h] [-x] path ...] [-expunge] [-find path ... expression ...] [-get [-p] [-ignoreCrc] [-crc] src ... localdst] [-getfacl [-R] path] [-getfattr [-R] {-n name | -d} [-e en] path] [-getmerge [-nl] src localdst] [-help [cmd ...]] [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [path ...]] [-mkdir [-p] path ...] [-moveFromLocal localsrc ... dst] [-moveToLocal src localdst] [-mv src ... dst] [-put [-f] [-p] [-l] localsrc ... dst] [-renameSnapshot snapshotDir oldName newName] [-rm [-f] [-r|-R] [-skipTrash] src ...] [-rmdir [--ignore-fail-on-non-empty] dir ...] [-setfacl [-R] [{-b|-k} {-m|-x acl_spec} path]|[--set acl_spec path]] [-setfattr {-n name [-v value] | -x name} path] [-setrep [-R] [-w] rep path ...] [-stat [format] path ...] [-tail [-f] file] [-test -[defsz] path] [-text [-ignoreCrc] src ...] [-touchz path ...] [-usage [cmd ...]] Generic options supported are -conf configuration file specify an application configuration file -D propertyvalue use value for given property -fs local|namenode:port specify a namenode -jt local|resourcemanager:port specify a ResourceManager -files comma separated list of files specify comma separated files to be copied to the map reduce cluster -libjars comma separated list of jars specify comma separated jar files to include in the classpath. -archives comma separated list of archives specify comma separated archives to be unarchived on the compute machines. The general command line syntax is bin/hadoop command [genericOptions] [commandOptions]4.-appendToFile将服务器本地的文件追加到HDFS指定的文件中如果多次运行相同的参数则会在 HDFS 的文件中追加多行相同的内容。实例代码如下所示hadoop fs -appendToFile data.txt /data/data.txt5.-cat主要用来查看 HDFS 中的非压缩文件的内容。实例代码如下所示[rootnode01 ~]# hadoop fs -cat /data/data.txt hello hadoop hello hadoop6.续干货 | HDFS常用的40个命令你都知道吗-腾讯云开发者社区-腾讯云Hadoop 集群常用端口①HDFS 集群web访问端口: 9870②HDFS 操作端口 : 8020③YARN 集群资源端口: 8088④Yarn 历史服务器的端口: 19888