博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
MapReduce 程序运行演示(示例PI程序 wordcount程序)
阅读量:4299 次
发布时间:2019-05-27

本文共 1287 字,大约阅读时间需要 4 分钟。

你说的9000端口应该指的是fs.default.name或fs.defaultFS(新版本)这一配置属性吧,这个属性是描述集群中NameNode结点的(包括协议、主机名称、端口号)

50070其实是在-site.xml里面的配置参数dfs.namenode.http-address,默认配置为dfs.namenode.http-address,这是 web界面的监听端口

———————————————————————————————————————————————————————

MapReduce 程序运行演示

  在 MapReduce 组件里,官方给我们提供了一些样例程序,其中非常有名的就是 wordcount 和 pi 程序。这些 MapReduce 程序的代码都在 hadoop-mapreduce-examples-2.7.5.jar 包里,这 个 jar 包在 hadoop 安装目录下的/share/hadoop/mapreduce/目录里 下面我们使用 hadoop 命令来试跑例子程序,看看运行效果

 MapReduce 示例 pi 的程序

[hadoop@hadoop1 ~]$ cd apps/hadoop-2.7.5/share/hadoop/mapreduce/[hadoop@hadoop1 mapreduce]$ pwd/home/hadoop/apps/hadoop-2.7.5/share/hadoop/mapreduce[hadoop@hadoop1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 5 5

 

MapReduce 示例 wordcount 的程序

[hadoop@hadoop1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.5.jar wordcount /wc/input1/ /wc/output1/

查看结果

[hadoop@hadoop1 mapreduce]$ hadoop fs -cat /wc/output1/part-r-00000

 

问题分析:Input path does not exist

问题解决:分布式环境中创建input目录

  hdfs dfs -mkdir -p /user/hadoop

  hdfs dfs -mkdir input

  hdfs dfs -put ./*.xml input   (一定要有xml文件才能input)

[hadoop@hadoop1 mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.5.jar wordcount /wc/input1/ /wc/output1/

(问题2:如果output1已经有了就会报错,只能向这个output1里面写入一次,虽然不知道为啥。难道是传说中的一次写入多次读取。不懂不懂,反正先知道怎么做,以后再考虑为什么。。。。)

 

 

 

转载地址:http://vwvws.baihongyu.com/

你可能感兴趣的文章
MySQL 查看执行计划
查看>>
OpenGL ES 3.0(四)图元、VBO、VAO
查看>>
OpenGL ES 3.0(五)纹理
查看>>
OpenGL ES 3.0(八)实现带水印的相机预览功能
查看>>
OpenGL ES 3.0(九)实现美颜相机功能
查看>>
FFmpeg 的介绍与使用
查看>>
Android 虚拟机简单介绍——ART、Dalvik、启动流程分析
查看>>
原理性地理解 Java 泛型中的 extends、super 及 Kotlin 的协变、逆变
查看>>
FFmpeg 是如何实现多态的?
查看>>
FFmpeg 源码分析 - avcodec_send_packet 和 avcodec_receive_frame
查看>>
FFmpeg 新旧版本编码 API 的区别
查看>>
RecyclerView 源码深入解析——绘制流程、缓存机制、动画等
查看>>
Android 面试题整理总结(一)Java 基础
查看>>
Android 面试题整理总结(二)Java 集合
查看>>
学习笔记_vnpy实战培训day02
查看>>
学习笔记_vnpy实战培训day03
查看>>
VNPY- VnTrader基本使用
查看>>
VNPY - CTA策略模块策略开发
查看>>
VNPY - 事件引擎
查看>>
MongoDB基本语法和操作入门
查看>>