扫码关注官方订阅号
Java开发时 spark 和 mapreduce的语法像吗?
我问的问题肯能不是很专业 就是想知道 spark 和 hadoop 用java开发时,语法上有多少相似性
学习是最好的投资!
不像。完全是两种风格的APISpark所有计算都基于RDD,你要通过代码去描述如何从一个或若干个RDD转换成新的RDD。如此直到得到你想要的RDD,然后进行输出。另外Spark跟MR相比,他还提供了类SQL的编程方式,能更容易入门。我们这里去年就把批处理全部换成Spark作业了。
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
不像。完全是两种风格的API
Spark所有计算都基于RDD,你要通过代码去描述如何从一个或若干个RDD转换成新的RDD。如此直到得到你想要的RDD,然后进行输出。
另外Spark跟MR相比,他还提供了类SQL的编程方式,能更容易入门。
我们这里去年就把批处理全部换成Spark作业了。