训练操作说明

Thu, 20 Sep 2018 08:28:51 +0800

任务一:以下按顺序启动:

zkServer.sh start(三台同时启动);

start-dfs.sh （lky01）

start-yarn.sh (lky02)

yarn-daemon.sh start resourcemanager (lky03)

start-spark-all.sh (lky01)

任务二:数据采集:

在sqoop的bin目录下执行:sqoop import --connect jdbc:mysql://192.168.0.200:3306/retail --username root--password 123456 --table consume_notes --hive-import --create-hive-table -m 1 (导入成功后，请在hive里删除导入的数据表,以免下次导入出现报错,如出现报错请删除错误日志里面提示的缓存目录:hadoop dfs rm -r [日志错误表位置]).

数据预处理

在intelij项目里面修改数据库的地址为192.168.0.200,然后打包上传到服务器,在opt/jars/spark/目录下执行./spark-submit.sh [执行类的地址（在intelij拷贝）] 执行完毕后,查看数据库中是否有数据 (将执行完毕后出现的数据表进行删除,以免影响下一个人使用).

数据挖掘（零售）

按照项目代码创建输入目录,执行项目,在输出文件夹中查看是否有数据.

数据挖掘（建筑）

在lky01上执行 nc -lk 44445 在本机项目中查看项目配置的ip和端口是否和服务器端配置的一样,确保在同一端口,在JDBC配置的类中修改好输出数据的数据库地址,然后启动本地项目,在服务器界面输入数据，然后查看数据库中是否有刚才输入的数据.

任务三:数据可视化:

数据源配置:新建数据源;选择jdbc数据源,配置好jdbc的地址,然后保存 (配置数据源的地址为192.168.0.202).

数据集配置:新建数据集,按照题目给出的数据查询语句,粘贴到目标框,然后点击读取数据,无误后保存.

图表设计:根据题目给出的图表内容设计图表.

说明 on 庞玉栋个人博客

训练操作说明