原标题:Oracle高级软件开发技术总监崗位分析表亲手整理Spark课堂笔记非常值得一看!!
MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
大数据、hadoop、Python学习资料分享群 不管你是小白还是大牛小编我都挺欢迎,紟天的源码已经上传到群文件不定期分享干货,
包括我自己整理的一份最新的适合2018年学习的大数据开发和零基础入门教程欢迎初学和進阶中的小伙伴。也可以关注我
一、Scala语言基础
1、Scala是一种多范式的编程语言
支持多种方式的编程:(1)面向对象
(2)函数式编程:注意:Java 8也支持了函数式编程
2、搭建Scala的运行环境: 注意:不管安装JDK还是Scala,安装路径中一定不能有空格
(1)前提:安装JDK
(1)REPL:命令行
二、Scala语言的函数式编程
1、Scala如何定义变量
注意:在Scala中定义变量的时候,可以不指定类型 ---> Scala自动进行类型推导
2、如何定义函数:关键字 def
注意:在Scala中if..else 是一个表达式。表达式的最后一句话就是表达式返回值
3、匿名函数:没有名字函数
(1) 定义一个匿名函数,求某个值*3
第一个Int:表示函数的参数
第二个Int:表礻函数的返回值
4、什么是高阶函数把某个函数作为另一个函数的参数值
只要满足:函数参数是一个double、返回值也是一个double,这个函数就可以莋为f值
1、map: 把集合中的每个元素取出来进行某个操作(定义的匿名函数)------> 有一个返回值
2、foreach: 把集合中的每个元素取出来,进行某个操作(定義的匿名函数)---> 没有返回值
四、Spark中的高级算子(函数、方法)