简介:《大数据技术中Hive安装与配置详解》是一份面向大数据初学者及具备一定经验开发者的实操型文档,围绕Hive环境从零搭建与MySQL元数据存储配置展开,兼顾企业首次部署集群、个人学习研究等场景,也适合需要补强HDFS依赖理解的技术支持人员。压缩包内含1个docx文件,大小约44KB,内容集中、便于按章节查阅,可作为安装配置阶段的随身手册。文档覆盖下载解压、环境变量设置、hive-env.sh与hive-site.xml关键参数说明,并对配置项含义、常见问题及注意事项进行解释,能帮助读者理解Hive与HDFS、MySQL的协同关系,减少环境搭建中的反复试错。已有704人学习,可作为独立完成安装流程、熟悉基础Linux操作后的实践参考。
1. 先别急着解压:Hive 3.1.2 装前版本盘查
Hive 安装与配置最典型的翻车点,不是 tar 包解压报错,而是 Hive 3.1.2 的 shell 能进去,一执行show databases就卡在元数据库。BigData 环境里 HDFS、MySQL、Hive 三者的版本和路径一旦没对齐,hive-site.xml里一个 JDBC URL 写错,后面schematool初始化、HiveServer2 启动都会连着失败。它常见于初次部署 Hive 集群、在个人机器上复现 HDFS 查询的开发者,以及已经装过一遍但被 schema 版本和驱动包卡住的人。下面按我实际装 3.1.2 的顺序,把下载、解压、环境变量、MySQL 元数据库、启动验证一路走完,能照着复现。
2. 落地 Hive 3.1.2:从上传解压到 HIVE_HOME 生效
我装 Hive 的顺序跟不少人相反:先看 HDFS 和 MySQL 的端口,再动 tar 包。Hive 安装与配置看起来是解压、配环境变量,实际卡人的是路径和版本。Hive 3.1.2 对 JDK 1.8 的兼容性比较省心,元数据库用 MySQL 5.7.28 也常见,但HADOOP_HOME、JAVA_HOME、HIVE_HOME三个路径只要有一个写错,hive --version可能没事,一跑 SQL 就报找不到类或连不上 metastore。先把这套值定死,后面所有配置都围绕它改。
| 组件 | 本文取值 | 说明 |
|---|---|---|
| Hive | 3.1.2 | 安装包apache-hive-3.1.2-bin.tar.gz |
| MySQL | 5.7.28 | 作为 Hive 元数据库,不是 Hive 数据仓库本身 |
| JDK | 1.8 | 路径按实际机器写,示例/usr/java/jdk1.8 |
| HDFS | 已运行集群 | hdfs dfs -ls /要能跑通 |
| Hive 安装目录 | /export/servers/hive | 解压后统一重命名 |
| 本地临时目录 | /usr/local/hadoop/hive/tmp | scratch、resources、日志都放这里 |
2.1 目录规划与安装包上传
我一般先在目标机把目录和主机名解析处理好,避免后面 HiveServer2 绑hadoop001时解析不到。Hive 安装包不需要在每台机器都放,先集中放到hadoop001的/export/software,后面真要做多节点再分发。目录规划不复杂,但别把 Hive 解压到/root下,不然后面换用户跑服务时权限会反复折腾。
# 在 hadoop001 上确认主机名能被解析 hostname -f # 期望输出类似 hadoop001,如果不是,先把 /etc/hosts 里的映射补齐 # 建好安装包目录、安装目录和本地临时目录 mkdir -p /export/software /export/servers mkdir -p /usr/local/hadoop/hive/tmp /usr/local/hadoop/hive/tmp/resources mkdir -p /user/hadoop/hive/logs /user/hadoop/hive/operation_logshostname -f这一步别省。HiveServer2 的hive.server2.thrift.bind.host写的是主机名时,系统解析不到就会启动失败。mkdir -p里前两行是安装目录和本地临时目录;后面两个目录对应hive-site.xml里的查询日志和操作日志路径,按原文路径放在本机/user/hadoop/hive下,如果实际想换到/usr/local/hadoop/hive,要记得配置文件和目录一起改,别只改一边。
安装包可以从 Hive 官方下载页取,文件名是apache-hive-3.1.2-bin.tar.gz。服务器不能出网时,本机下载后传上去;能出网时直接在服务器下也行。上传用scp最直接:
# 在存放安装包的机器上执行,把包推到 hadoop001 scp apache-hive-3.1.2-bin.tar.gz root@hadoop001:/export/software/scp的源是当前目录下的安装包,目标是root@hadoop001的/export/software/。如果目标机不是 root 登录,换成实际用户,并确认该用户对/export/software有写权限。传完后在hadoop001上ls -lh /export/software/apache-hive-3.1.2-bin.tar.gz看一眼大小,别传了一半就解压。
2.2 解压、重命名与权限
解压前先列一下包内容,确认 tar 包没有损坏。tar -tzf只读不写,适合做一次快速检查。确认能列出apache-hive-3.1.2-bin/目录后再正式解压,避免解到一半报gzip: stdin: unexpected end of file。
cd /export/software # 先看包内顶层目录,确认包完整 tar -tzf apache-hive-3.1.2-bin.tar.gz | head # 解压到 /export/servers tar -zxvf apache-hive-3.1. <p> <a href="https://download.csdn.net/download/andsll/89975848" style="color:#ec7500;font-size:14px;"> 本文还有配套的精品资源,点击获取 </a> <img alt="menu-r.4af5f7ec.gif" src="https://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif" style="width:16px;margin-left:4px;vertical-align:text-bottom;cursor:text;"> </p>