Hadoop界的Hello World!
2019-05-20 19:50:09
应用平台：Eclipse+ubantu+hadoop包
注：例分析的形式给宝宝们解释一下，详细运行过程省略。
实例：定义一个进行统计的原始文件
| Hello MrZhangxd Hello Yootk Hello Bye Bye Bye Hello MrZhangxd |
预期结果：
| Bye 3 Hello 4 MrZhangxd 2 Yootk 1 |
主要实现利用MapReduce,那么什么是MapReduce?
MapReduce是一种可用于数据处理的编程模型。MapReduce程序本质是并行运行的。
第一步 使用可视化表格进行分析
对于MapReduce而言有两个阶段
Map阶段：对数据的处理阶段
Reduce阶段：对处理后的数据进行计算
以上实例如果使用MapReduce处理的话其流程如下：
| Map处理 | 排序处理 | 合并处理 | Reduce处理 |
| <Hello,1> <MrZhangxd,1> <Hello,1> <Yootk,1> <Hello,1> <Bye,1> <Bye,1><Bye,1> <Hello,1> <MrZhangxd,1> | <Bye,1> <Bye,1> <Bye,1> <Hello,1> <Hello,1> <Hello,1> <Hello,1> <MrZhangxd,1> <MrZhangxd,1> <Yootk,1> |
<Bye,1,1,1> <Hello,1,1,1,1> <MrZhangxd,1,1> <Yootk,1>
|
<Bye,3> <Hello,4> <MrZhangxd,2> <Yootk,1>
|
以上整个操作称作一个完整的作业“Job”
第二步 代码编写（代码格式主要参考《代码整洁之道》的编码格式）
实现单词统计的代码：
| package org.mrzhangxd.com.linux; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; /** * 本操作主要是进行Map的数据处理 * @author MrZhangxd * 在Mapper父类里面接受的内容如下： * Object:输入数据的具体内容 * Text:每行的文本数据 * Text:每个单词分解后的统计结果 * IntWritable:输出记录的结果 */ public class WordCount {//本处要求实现单词统计的处理操作 //在整个代码中最为关键部分就是Map和Reduce部分，而且这两个部分是需要用户自己了实现的 private static class WordCountReducer extends Reducer<Text,IntWritable,Text,IntWritable>{ @Override protected void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException { // TODO Auto-generated method stub super.reduce(key, values, context); int sum = 0;//保存每个单词出现的数据 for(IntWritable count : values) { sum += count.get(); } context.write(key, new IntWritable(sum)); } } @SuppressWarnings("unused") private static class WordCountMapper extends Mapper<Object,Text,Text,IntWritable>{ @Override protected void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable>.Context context) throws IOException, InterruptedException { // TODO Auto-generated method stub super.map(key, value, context); //默认情况下是提取每一行数据，所以每行数据里面都会存在空格，那么要按照空格进行分割，每当出现一个单词就需要做一个统计的1 String lineContent = value.toString(); //取出每行的数据 String result [] = lineContent.split(" ");//按空格进行数据拆分 for(int x = 0;x < result.length;x++) { //循环每行每个单词而后进行数据的生成 //每一个单词最终生成的保存个数是1 context.write(new Text(result[x]), new IntWritable(1)); } } } public static void main(String[] args) throws IOException { // TODO Auto-generated method stub if(args.length != 2) { System.out.println("本程序需要两个参数，执行，hadoop yootk.jar /input/info.txt /output"); System.exit(1); } //每一次的执行实际上都属于一个作业（Job）,但是现在希望可以通过初始化参数来设置HDFS的文件存储路径 //假设现在的文件保存在HDFS上的“input/info.txt”上，而且最终输出结果也将保存在HDFS的“output”目录中 Configuration conf = new Configuration(); //考虑到最终要使用HDFS进行内容的处理操作，并且输入的时候不带有HDFS地址 String[] argArray = new GenericOptionsParser(conf, args).getRemainingArgs();//对输入的参数进行处理 //后面就需要作业进行处理了，而且Map与Reduces操作必须通过作业来配置 Job job = Job.getInstance(conf,"hadoop");//定义一个hadoop作业 job.setMapperClass(WordCountMapper.class);//设置执行的jar文件的程序类 job.setJarByClass(WordCount.class); //指定Mapper的处理类 job.setMapOutputKeyClass(Text.class); //设置输出key的类型 job.setMapOutputValueClass(IntWritable.class);//设置输出的value类型 job.setReducerClass(WordCountReducer.class);//设置reduce操作的处理类 //设置Map-Reduce最终的执行结果 job.setOutputKeyClass(Text.class);//信息设置为文本 job.setOutputValueClass(IntWritable.class);//最终将内容设置为一个数值 //设置输入以及输出路径 //FileInputFormat.addInputPath(job, new Path(argArray[0])); FileInputFormat.addInputPath(job, new Path(argArray[0])); FileOutputFormat.setOutputPath(job,new Path(argArray[1])); //等待执行完毕 try { System.exit(job.waitForCompletion(true) ? 0 : 1); } catch (ClassNotFoundException | InterruptedException e) { // TODO Auto-generated catch block e.printStackTrace(); }//执行完毕并且退出 } } |
注：代码的编写是需要使用到Hadoop中提供的*.jar文件的。
C:\Users\ XXX \Desktop\大数据\hadoop-3.2.0\share\hadoop
需要配置如下几个路劲的开发包：
|--Common组件包：
| |--C:\Users\XXX\Desktop\大数据\hadoop-3.2.0\share\hadoop\common
| |--C:\Users\XXX\Desktop\大数据\hadoop-3.2.0\share\hadoop\common\lib;
|--Mapreduce组件包：
| |--C:\Users\XXX\Desktop\大数据\hadoop-3.2.0\share\hadoop\mapreduce
| |--C:\Users\XXX\Desktop\大数据\hadoop-3.2.0\share\hadoop\mapreduce\lib;