mac搭建大数据开发环境

mac安装Hadoop/hbase/spark：

mac idea+sbt运行spark程序：

mac安装hive：

spark查询hive：

踩坑：

1.提示无法连接thrift://master:9083

将hive-site.xml中的master:9083改为127.0.0.1:9083

2.提示Table or view not found: employee; line 1 pos 14

将代码spark.sql(sql2).show()改为spark.sql(sql).show()

spark查询mysql：

踩坑：

1.sparkSession无法导入，在maven pom.xml文件中加入如下配置

<dependency>

<groupId>org.apache.spark</groupId>

<artifactId>spark-sql_2.11</artifactId>

<version>2.2.0</version>

</dependency>

2.运行报错Exception in thread "main" java.lang.ClassNotFoundException: com.mysql.cj.jd

将jar包mysql-connector-java-8.0.26.jar导入到项目中

3.运行报错Exception in thread "main" com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure

将代码中的mysql://master:3306/hive改为mysql://127.0.0.1:3306/hive

4.hive运行sql报错 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

执行命令：hive --service metastore &