在 HDFS 联合中将数据从本地磁盘复制到 HDFS

在 HDFS 联合中将数据从本地磁盘复制到 HDFS

我正在尝试配置 HDFS 联合。因此,我$ cat etc/hadoop/hdfs-site.xml在两个主机(hadoop-coc-1 和 hadoop-coc-2)上都进行了配置。

问题是,使用此配置,我想将数据从本地磁盘复制到 HDFS,但却不能。

我尝试了下面的命令但出现错误:

``` $ hdfs dfs -copyFromLocal ~/input1 webhdfs://hadoop-coc-1/ Java HotSpot(TM) Client VM 警告:您已加载库 /home/xubuntu/Programs/hadoop-2.6.0/lib/native/libhadoop.so,该库可能已禁用堆栈保护。VM 将尝试立即修复堆栈保护。强烈建议您使用“execstack -c ”修复库,或将其与“-z noexecstack”链接。15/03/02 12:32:47 WARN util.NativeCodeLoader:无法为您的平台加载本机 Hadoop 库...在适用的情况下使用内置 Java 类 copyFromLocal:连接被拒绝

$ curl -i -X PUT -T ~/input1 "http://hadoop-coc-1:8080/?op=CREATE“HTTP/1.1 100 继续

HTTP/1.1 405 此 URL 不支持 HTTP 方法 PUT 日期:2015 年 3 月 2 日星期一 17:34:35 GMT Pragma:no-cache 日期:2015 年 3 月 2 日星期一 17:34:35 GMT Pragma:no-cache Content-Length:0 服务器:Jetty(6.1.26)

```

有什么帮助可以将数据从本地磁盘复制到 HDFS 吗?我是否正确配置了系统?

hdfs-site.xml <configuration> <property> <name>dfs.nameservices</name> <value>ns1,ns2</value> </property> <property> <name>fs.defaultFS.ns1</name> <value>hdfs://hadoop-coc-1:9000</value> </property> <property> <name>fs.defaultFS.ns2</name> <value>hdfs://hadoop-coc-2:9000</value> </property> <property> <name>dfs.namenode.rpc-address.ns1</name> <value>hadoop-coc-1:6600</value> </property> <property> <name>dfs.namenode.http-address.ns1</name> <value>hadoop-coc-1:8080</value> </property> <property> <name>dfs.namenode.secondaryhttp-address.ns1</name> <value>hadoop-coc-1:8080</value> </property> <property> <name>dfs.namenode.rpc-address.ns2</name> <value>hadoop-coc-2:6600</value> </property> <property> <name>dfs.namenode.http-address.ns2</name> <value>hadoop-coc-2:8080</value> </property> <property> <name>dfs.namenode.secondaryhttp-address.ns2</name> <value>hadoop-coc-2:8080</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.support.append</name> <value>true</value> </property> </configuration>

答案1

已解决。HDFS 服务正在运行端口 6600。

相关内容