day02-03_流批一体API今日目标 流处理原理初探 流处理概念（理解） 程序结构之数据源Source（掌握） 程序结构之数据转换Transformation（掌握） 程序结构之数据落地Sink（掌握） Flink连接器Connectors（理解） 流处理原理初探 Flink的角色分配 JobMaster 老大, 主要负责 集群的管理, 故障的恢复, checkpoint 检查点设置taskmanager worker 小弟, 具体负责任务的执行节点client 提交任务的界面 taskmanager 执行能力 taskslot 静态的概念parallelism 并行度 动态概念
/** * Author itcast * Desc * 1.ds.print 直接输出到控制台 * 2.ds.printToErr() 直接输出到控制台,用红色 * 3.ds.collect 将分布式数据收集为本地集合 * 4.ds.setParallelism(1).writeAsText("本地/HDFS的path",WriteMode.OVERWRITE) */public class SinkDemo01 { public static void main(String[] args) throws Exception { //1.env StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //2.source //DataStream ds = env.fromElements("hadoop", "flink"); DataStream ds = env.readTextFile("data/input/words.txt"); //3.transformation //4.sink ds.print(); ds.printToErr(); ds.writeAsText("data/output/test", FileSystem.WriteMode.OVERWRITE).setParallelism(2); //注意: //Parallelism=1为文件 //Parallelism>1为文件夹 //5.execute env.execute(); }} 自定义SinkConnectorFlink官方提供的连接器， 用于连接 JDBC 或者 Kafka ，MQ等JDBC 连接方式Kafka 连接方式从 kafka 集群中消费数据Flink写入到 Redis 数据库问题 vmware 打开镜像文件 15.5.x 升级为 16.1.0 ， 可以升级为 fromSequece(1,10) ， CPU 12线程， from log 
