本教程从 java 基础到实战，带你掌握大数据分析技能。包括 java 基础（变量、控制流、类等），大数据工具（hadoop 生态系统、spark、hive），以及实战案例：从 openflights 获取航班数据。使用 hadoop 读取和处理数据，分析航班目的地最频繁的机场。使用 spark 深入分析，查找到达目的地最晚的航班。使用 hive 交互式分析数据，统计每个机场的航班数量。
Java 基础入门到实战应用：大数据实战分析
引言
随着大数据时代的到来，掌握大数据分析技能变得至关重要。本教程将带领你从 Java 基础入门到使用 Java 进行大数据实战分析。
立即学习“Java免费学习笔记（深入）”；
Java 基础
- 变量、数据类型和运算符
- 控制流（if-else、for、while）
- 类、对象和方法
- 数组和集合（列表、映射、集合）
大数据分析工具
- Hadoop 生态系统（Hadoop、MapReduce、HDFS）
- Spark
- Hive
实战案例：使用 Java 分析航班数据
步骤 1：获取数据
新普客户管理系统，小巧，方便，实用，主要功能有： 1 客户 2 联系人 3 联系活动 4 供应商 5 产品 6 费用 7 销售记录 8 竞争对手 9 图表分析 10 基础资料 11 数据备份 12 个人信息 v3.0新增： 1、增加了“业务日记”功能； 2、增加了“批量从Excel导入客户信息”功能；
从 OpenFlights 数据集下载航班数据。
步骤 2：使用 Hadoop 读写数据
使用 Hadoop 和 MapReduce 读取和处理数据。
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class FlightStats {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "Flight Stats");
job.setJarByClass(FlightStats.class);
job.setMapperClass(FlightStatsMapper.class);
job.setReducerClass(FlightStatsReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.waitForCompletion(true);
}
public static class FlightStatsMapper extends Mapper<Object, Text, Text, IntWritable> {
@Override
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
String[] line = value.toString().split(",");
context.write(new Text(line[1]), new IntWritable(1));
}
}
public static class FlightStatsReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
@Override
public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable value : values) {
sum += value.get();
}
context.write(key, new IntWritable(sum));
}
}
}步骤 3：使用 Spark 进一步分析
使用 Spark DataFrame 和 SQL 查询分析数据。
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
public class FlightStatsSpark {
public static void main(String[] args) {
SparkSession spark = SparkSession.builder().appName("Flight Stats Spark").getOrCreate();
Dataset<Row> flights = spark.read().csv("hdfs:///path/to/flights.csv");
flights.createOrReplaceTempView("flights");
Dataset<Row> top10Airports = spark.sql("SELECT origin, COUNT(*) AS count FROM flights GROUP BY origin ORDER BY count DESC LIMIT 10");
top10Airports.show(10);
}
}步骤 4：使用 Hive 交互式查询
使用 Hive 交互式查询分析数据。
CREATE TABLE flights (origin STRING, dest STRING, carrier STRING, dep_date STRING, dep_time STRING, arr_date STRING, arr_time STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; LOAD DATA INPATH 'hdfs:///path/to/flights.csv' OVERWRITE INTO TABLE flights; SELECT origin, COUNT(*) AS count FROM flights GROUP BY origin ORDER BY count DESC LIMIT 10;
结论
通过本教程，你已经掌握了 Java 基础和使用 Java 进行大数据实战分析的技能。通过了解 Hadoop、Spark 和 Hive，你能够高效地分析大数据集，从中提取有价值的见解。
