本文共 1287 字,大约阅读时间需要 4 分钟。
你说的9000端口应该指的是fs.default.name或fs.defaultFS(新版本)这一配置属性吧,这个属性是描述集群中NameNode结点的(包括协议、主机名称、端口号)
50070其实是在-site.xml里面的配置参数dfs.namenode.http-address,默认配置为dfs.namenode.http-address,这是 web界面的监听端口
———————————————————————————————————————————————————————
在 MapReduce 组件里,官方给我们提供了一些样例程序,其中非常有名的就是 wordcount 和 pi 程序。这些 MapReduce 程序的代码都在 hadoop-mapreduce-examples-2.7.5.jar 包里,这 个 jar 包在 hadoop 安装目录下的/share/hadoop/mapreduce/目录里 下面我们使用 hadoop 命令来试跑例子程序,看看运行效果
[hadoop@hadoop1 ~]$ cd apps/hadoop-2.7.5/share/hadoop/mapreduce/[hadoop@hadoop1 mapreduce]$ pwd/home/hadoop/apps/hadoop-2.7.5/share/hadoop/mapreduce[hadoop@hadoop1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 5 5
[hadoop@hadoop1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.5.jar wordcount /wc/input1/ /wc/output1/
查看结果
[hadoop@hadoop1 mapreduce]$ hadoop fs -cat /wc/output1/part-r-00000
问题分析:Input path does not exist
问题解决:分布式环境中创建input目录
hdfs dfs -mkdir -p /user/hadoop
hdfs dfs -mkdir input
hdfs dfs -put ./*.xml input (一定要有xml文件才能input)
[hadoop@hadoop1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.5.jar wordcount /wc/input1/ /wc/output1/
(问题2:如果output1已经有了就会报错,只能向这个output1里面写入一次,虽然不知道为啥。难道是传说中的一次写入多次读取。不懂不懂,反正先知道怎么做,以后再考虑为什么。。。。)
转载地址:http://vwvws.baihongyu.com/