大数据分析Apache Spark大数据的应用实例例

你的位置：网站首页 >> 频道首页 >>spark >>大数据分析Apache Spark大数据的应用实例例

点击联系发帖人 时间：2020-03-23 09:35

大数据的应用实例

第1步：进入官网下载spark安装包

第2步：将spark安装包解压到E盘

第3步：键盘按下Windows+R，输入cmd点击确认

第5步：屏幕应当出现以下内容

第6步：输入以下内容，反应和下图所示相同说明咹装成功

}

在书中第二章有一个例子，构建完之后运行：

如果用的spark版本与书中用到的不一样的话，就会出现各种问题譬如书中用的是1.2.0而我用的是最新的2.3.0。

1. 第一次编译的时候絀现类似下面的报错：

首先是解决版本依赖的问题：

（1）获得spark-core的版本和spark的版本，通过查看以下路径获得：

2. 第二次编译估计会遇到下面的报錯：

又查了一下书里关于FlatMapFunction<T, R>()接口的继承规则没发现错误，转念一下可能又是版本不一样造成的。查了一下最新版本的api发现需要实现的方法的返回类型变了：

（2）把出错的句子修改成：

}