Hive安装
Hive安装
默认成功安装并启动了hadoop，并且安装了mysql
Hive安装地址
1）Hive官网地址 http://hive.apache.org/ 2）文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址 http://archive.apache.org/dist/hive/ 4）github地址 https://github.com/apache/hive
安装步骤
安装Hive
1.把apache-hive-3.1.3-bin.tar.gz上传到Linux
2.解压apache-hive-3.1.3-bin.tar.gz
tar -zxf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module/3.修改apache-hive-3.1.3-bin.tar.gz的名称为hive
mv /opt/module/apache-hive-3.1.3-bin/ /opt/module/hive4.修改~/.bashrc，添加环境变量
sudo vim ~/.bashrc修改如下
#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/binsource ~/.bashrc5.修改配置文件
cd /opt/module/hive/conf
cp hive-env.sh.template hive-env.sh添加一行
export HADOOP_HOME=/opt/module/hadoop-3.3.1初始化元数据库
bin/schematool -dbType derby -initSchema启动并使用Hive
1.启动Hive(使用hadoop用户)
bin/hive2.使用Hive
hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"ss");
hive> select * from stu;观察HDFS的路径/user/hive/warehouse/stu，体会Hive与Hadoop之间的关系。
Hive中的表在Hadoop中是目录；Hive中的数据在Hadoop中是文件。
删除一些文件
首先退出hive客户端。然后在Hive的安装目录下将derby.log和metastore_db删除
rm -rf derby.log metastore_db/
hadoop fs -rm -r /user配置Hive元数据存储到MySQL
默认已经安装好了MySQL
在MySQL中创建Hive元数据库
create database metastore;
quit;在MySQL :: Download Connector/J里下载对应版本的JDBC驱动包，并将驱动拷贝到Hive的lib目录下
ls | grep mysql-connector-java-
mysql-connector-java-8.0.27.jar在$HIVE_HOME/conf目录下新建hive-site.xml文件
vim hive-site.xml<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- jdbc连接的URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/metastore?useSSL=false</value>
</property>
<!-- jdbc连接的Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc连接的username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- jdbc连接的password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>liangzhiwei.</value>
</property>
<!-- Hive默认在HDFS的工作目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
</configuration>初始化元数据库（修改为采用MySQL存储元数据）
bin/schematool -dbType mysql -initSchema -verbose验证元数据是否配置成功
再次启动Hive
bin/hive使用Hive
hive> show databases;
hive> show tables;
hive> create table stu(id int, name string);
hive> insert into stu values(1,"ss");
hive> select * from stu;在Xshell窗口中开启另一个窗口开启Hive（两个窗口都可以操作Hive，没有出现异常）
hive> show databases;
hive> show tables;
hive> select * from stu;查看MySQL中的元数据
mysql -uroot -p查看元数据库metastore
mysql> show databases;
mysql> use metastore;
mysql> show tables;（1）查看元数据库中存储的库信息
mysql> select * from DBS;
（2）查看元数据库中存储的表信息
mysql> select * from TBLS;
（3）查看元数据库中存储的表中列相关信息
mysql> select * from COLUMNS_V2;
Hive服务部署
hiveserver2服务
用户说明
Hive的hiveserver2服务的作用是提供jdbc/odbc接口，为用户提供远程访问Hive数据的功能，例如用户期望在个人电脑中访问远程服务中的Hive数据，就需要用到Hiveserver2。
在远程访问Hive数据时，客户端并未直接访问Hadoop集群，而是由Hivesever2代理访问。由于Hadoop集群中的数据具备访问权限控制，所以此时需考虑一个问题：那就是访问Hadoop集群的用户身份是谁？是Hiveserver2的启动用户？还是客户端的登录用户？
答案是都有可能，具体是谁，由Hiveserver2的hive.server2.enable.doAs参数决定，该参数的含义是是否启用Hiveserver2用户模拟的功能。若启用，则Hiveserver2会模拟成客户端的登录用户去访问Hadoop集群的数据，不启用，则Hivesever2会直接使用启动用户访问Hadoop集群数据。模拟用户的功能，默认是开启的。
具体逻辑如下： 未开启用户模拟功能：
开启用户模拟功能：
生产环境，推荐开启用户模拟功能，因为开启后才能保证各用户之间的权限隔离。
部署
（1）hadoop端
hivesever2的模拟用户功能，依赖于Hadoop提供的proxy user（代理用户功能），只有Hadoop中的代理用户才能模拟其他用户的身份访问Hadoop集群。因此，需要将hiveserver2的启动用户设置为Hadoop的代理用户，配置方式如下
vim $HADOOP_HOME/etc/hadoop/core-site.xml添加以下内容
<!--配置所有节点的hadoop用户都可作为代理用户-->
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<!--配置hadoop用户能够代理的用户组为任意组-->
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
<!--配置hadoop用户能够代理的用户为任意用户-->
<property>
<name>hadoop.proxyuser.hadoop.users</name>
<value>*</value>
</property>（2）hive端
vim $HIVE_HOME/conf/hive-site.xml添加以下内容：
<!-- 指定hiveserver2连接的host -->
<property>
<name>hive.server2.thrift.bind.host</name>
<value>$服务器名</value>
</property>
<!-- 指定hiveserver2连接的端口号 -->
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>测试
在hive安装根目录下执行
（1）启动hiveserver2
bin/hive --service hiveserver2（2）使用命令行客户端beeline进行远程访问
启动beeline客户端
bin/beeline -u jdbc:hive2://lzw-database:10000 -n hadoop看到以下界面即为成功
Connecting to jdbc:hive2://lzw-database:10000
Connected to: Apache Hive (version 3.1.3)
Driver: Hive JDBC (version 3.1.3)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.3 by Apache Hive
0: jdbc:hive2://lzw-database:10000>现在就可以使用DataGrip工具去连接了
metastore部署
（1）嵌入模式
嵌入式模式下，只需保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含连接元数据库所需要的以下参数即可：
vim conf/hive-site.xml <!-- jdbc连接的URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
</property>
<!-- jdbc连接的Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc连接的username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- jdbc连接的password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>（2）独立服务模式
独立服务模式做以下配置
首先，保证metastore服务的配置文件hive-site.xml中包含连接元数据库所需的以下参数：
<!-- jdbc连接的URL -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
</property>
<!-- jdbc连接的Driver-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- jdbc连接的username-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- jdbc连接的password -->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>其次，保证Hiveserver2和每个Hive CLI的配置文件hive-site.xml中包含访问metastore服务所需的以下参数：
<!-- 指定metastore服务的地址 -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://$服务器名:9083</value>
</property>注意：主机名需要改为metastore服务所在节点，端口号无需修改，metastore服务的默认端口就是9083。
测试
此时启动Hive CLI，执行shou databases语句，会出现一下错误提示信息
hive> show databases;
FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient这是因为我们在Hive CLI的配置文件中配置了hive.metastore.uris参数，此时Hive CLI会去请求我们执行的metastore服务地址，所以必须启动metastore服务才能正常使用。
metastore服务的启动命令如下：
hive --service metastore
2024-03-05 20:26:36: Starting Hive Metastore Server注意：启动后该窗口不能再操作，需打开一个新的Xshell窗口来对Hive操作。
重新启动 Hive CLI，并执行shou databases语句，就能正常访问了
bin/hive编写Hive服务启动脚本
vim $HIVE_HOME/bin/hiveservices.sh脚本内容如下
#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常，参数1为进程名，参数2为进程端口
function check_process()
{
pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
echo $pid
[[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}
function hive_start()
{
metapid=$(check_process HiveMetastore 9083)
cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
[ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
server2pid=$(check_process HiveServer2 10000)
cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
[ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}
function hive_stop()
{
metapid=$(check_process HiveMetastore 9083)
[ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
server2pid=$(check_process HiveServer2 10000)
[ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}
case $1 in
"start")
hive_start
;;
"stop")
hive_stop
;;
"restart")
hive_stop
sleep 2
hive_start
;;
"status")
check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
;;
*)
echo Invalid Args!
echo 'Usage: '$(basename $0)' start|stop|restart|status'
;;
esac添加执行权限
chmod +x $HIVE_HOME/bin/hiveservices.sh启动后台服务
hiveservices.sh start常见问题
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
set hive.exec.mode.local.auto=true;hadoop配置文件yarn-site.xml中值
$HADOOP_HOME/etc/hadoop/yarn-site.xml
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
<description>default value is 1024</description>
</property>