我在win10本地搭建了,hadoop2spark搭建-submit.cmd 测试,想测试下hadoop2spark搭建任务在win运行的情况怎么测试

最近想学习hadoop2spark搭建这样就开始hadoop2spark搭建的旅程。在本地搭建一个hadoop2spark搭建开发环境hadoop2spark搭建本身是使用Scala语言编写的,当然也可以使用java来开发hadoop2spark搭建项目但使用Scala语言来开发更加简洁,夲文在IDEA开发工具中使用sbt来创建Scala工程

以下是我自己环境版本:

下载对应版本的bin目录直接替换本地bin目录即可

这样可以在命令行中启动命令:hadoop2spark搭建-shell

点击Next 输入项目名称及选择sbtscala版本

6:添加对hadoop2spark搭建的支持,用hadoop2spark搭建做一个测试文件单词统计

我本地不知道为啥选择scala2.12.6版本不能执行后来改成叻2.11.8就可以了。这里留一个疑惑下次解决

由于我本地另外一个hadoop2spark搭建任务监听了4040接口这里就新建了一个4041接口。

  到这里hadoop2spark搭建 环境就完全搭建好了hadoop2spark搭建 更多知识还需要我们继续的学习和练习。

}

我要回帖

更多关于 hadoop2spark搭建 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信