0

0

php连接hive各种问题记录

php中文网

php中文网

发布时间:2016-06-06 19:52:37

|

3405人浏览过

|

来源于php中文网

原创

一、hive方面 hive有三种模式:cli、hwi、hiveserver; cli:即shell命令行 hwi:是通过浏览器访问 hiveserver:也就是JDBC/ODBC接口 其中hwi没有用到 深入浅出学hive:http://sishuok.com/forum/blogPost/list/6220.html(初学hive,这个系列介绍的很不错)

一、hive方面

hive有三种模式:cli、hwi、hiveserver;

cli:即shell命令行

hwi:是通过浏览器访问

hiveserver:也就是JDBC/ODBC接口

立即学习PHP免费学习笔记(深入)”;

其中hwi没有用到

深入浅出学hive:http://sishuok.com/forum/blogPost/list/6220.html(初学hive,这个系列介绍的很不错)

启动hiveserver:

1.org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.

可能原因:默认端口10000已被占用

查看端口是否被占用: netstat -ntulp | grep ':10000'

发现被一个java进程占用

解决方法:另起端口开启hiveserver:hive --service hiveserver -p 10001

2.启动hiveserver卡住

网上一些博客解释说是已经在运行,不用担心http://www.cnblogs.com/sh91/archive/2012/08/03/2621911.html

启动hive(cli)

1.执行语句出错(例如show tables)

FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

可能原因:metadata相关,也就是和连接mysql有关了(采用mysql作为hive的元数据库)

采用debug模式启动hive cli:hive -hiveconf hive.root.logger=DEBUG,console

Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

Caused by: java.net.ConnectException: 骁豢妤(这边有点乱码问题,是windows下的ssh软件造成的)

Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

Caused by: java.lang.reflect.InvocationTargetException

Caused by: javax.jdo.JDOFatalDataStoreException: Communications link failure

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
NestedThrowables:
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure


二、mysql方面

Fotor AI Face Generator
Fotor AI Face Generator

Fotor 平台的在线 AI 头像生成器

下载

登陆mysql出错:mysql -uhive -p

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (111)

查看mysql运行状态:/etc/rc.d/init.d/mysqld status

发现mysql已停

root权限下启动mysql:service mysqld start(失败);、etc/init.d/mysqld start(也失败)

提示:Another MySQL daemon already running with the same unix socket.

关闭所有mysqld进程:killall -9 mysqld

考虑卸载原装mysql:http://www.jb51.net/os/RedHat/1146.html  http://www.2cto.com/os/201108/100257.html  http://blog.csdn.net/monkey_d_meng/article/details/5573610

查找mysql相关包:rpm -qa|grep mysql
mysql-server-5.1.71-1.el6.i686   变成not installed(why???)
mysql-connector-java-5.1.17-6.el6.noarch   OK!
mysql-5.1.71-1.el6.i686      OK!
libdbi-dbd-mysql-0.8.3-5.1.el6.i686   OK!
mysql-libs-5.1.71-1.el6.i686     变成not installed(why???)
mod_auth_mysql-3.0.0-11.el6_0.1.i686     OK!
mysql-connector-odbc-5.1.5r1144-7.el6.i686  OK!
php-mysql-5.3.3-26.el6.i686     OK!
mysql-devel-5.1.71-1.el6.i686    OK!
qt-mysql-4.6.2-26.el6_4.i686    OK!
删除相关包的命令: rpm -e --nodeps (包名)
接下来删除mysql:  rm -fr /usr/lib/mysql     rm -fr /usr/include/mysql(/usr/include目录下没有mysql)
rm -f /etc/my.cnf      rm -rf /var/lib/mysql
验证: sudo yum -y remove mysql-5.1.71-1.el6.i686
提示:Loaded plugins: refresh-packagekit, security
      Setting up Remove Process
      No Match for argument: mysql-5.1.71-1.el6.i686
      Package(s) mysql-5.1.71-1.el6.i686 available, but not installed.
      No Packages marked for removal
证明已经删除成功!

再根据官方说明(http://dev.mysql.com/doc/refman/5.6/en/linux-installation-rpm.html)查找了相关目录,都已经没有mysql

接下来,手动安装自己的mysql
mysql官方推荐:

The recommended way to install MySQL on RPM-based Linux distributions that useglibc is by using the RPM packages provided by MySQL. There are two methods for doing so: for EL6-based platforms and Fedora 18 and 19, this can be done using the MySQL Yum repository (seediv 2.5.1, “Installing MySQL on Linux Using the MySQL Yum Repository” for details)

因此,通过rpm来安装,按照官网教程进行安装

安装成功,终于可以正常启动mysql了!

再重新为hive创建用户跟数据库就可以了(注意和配置文件hive-site.xml对应)

3.php连接相关

前提:开启hadoop(2.2.0版本改为start-dfs.sh和start-yarn.sh)

开启hiveserver(当然mysql也是要开起来)

php文件放在/wamp/www/下

在浏览器输入/localhost/hiveconnect.php就可以看到了

问题:

输入url,一直等待localhost,hive日志内容只有session相关信息

解决:

TException TSocket tiomeout:

这个问题最后并没有解决,只是发现hive大多数用于内网应用,于是直接往内网发展,连接一切正常。

4.hadoop方面

启动hadoop:start-dfs.sh start-yarn.sh

各个进程正常启动,但是之后发生问题,nodemanager shutdown:

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.net.ConnectTimeoutException: Call From sipedi-idc-gysj/220.250.64.225 to 0.0.0.0:8031 failed on socket timeout exception: org.apache.hadoop.net.ConnectTimeoutException: 20000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=0.0.0.0/0.0.0.0:8031];

这个问题也是出现在外网服务器上,和PHP连接的问题一样,改到内网应用,就没有再出现,但是估计这个问题应该是跟服务器的linux版本以及hadoop的具体配置有关,具体YARN的运行机制等到寒假再研究。

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

php

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
php源码安装教程大全
php源码安装教程大全

本专题整合了php源码安装教程,阅读专题下面的文章了解更多详细内容。

150

2025.12.31

php网站源码教程大全
php网站源码教程大全

本专题整合了php网站源码相关教程,阅读专题下面的文章了解更多详细内容。

88

2025.12.31

视频文件格式
视频文件格式

本专题整合了视频文件格式相关内容,阅读专题下面的文章了解更多详细内容。

90

2025.12.31

不受国内限制的浏览器大全
不受国内限制的浏览器大全

想找真正自由、无限制的上网体验?本合集精选2025年最开放、隐私强、访问无阻的浏览器App,涵盖Tor、Brave、Via、X浏览器、Mullvad等高自由度工具。支持自定义搜索引擎、广告拦截、隐身模式及全球网站无障碍访问,部分更具备防追踪、去谷歌化、双内核切换等高级功能。无论日常浏览、隐私保护还是突破地域限制,总有一款适合你!

61

2025.12.31

出现404解决方法大全
出现404解决方法大全

本专题整合了404错误解决方法大全,阅读专题下面的文章了解更多详细内容。

493

2025.12.31

html5怎么播放视频
html5怎么播放视频

想让网页流畅播放视频?本合集详解HTML5视频播放核心方法!涵盖<video>标签基础用法、多格式兼容(MP4/WebM/OGV)、自定义播放控件、响应式适配及常见浏览器兼容问题解决方案。无需插件,纯前端实现高清视频嵌入,助你快速打造现代化网页视频体验。

16

2025.12.31

关闭win10系统自动更新教程大全
关闭win10系统自动更新教程大全

本专题整合了关闭win10系统自动更新教程大全,阅读专题下面的文章了解更多详细内容。

12

2025.12.31

阻止电脑自动安装软件教程
阻止电脑自动安装软件教程

本专题整合了阻止电脑自动安装软件教程,阅读专题下面的文章了解更多详细教程。

5

2025.12.31

html5怎么使用
html5怎么使用

想快速上手HTML5开发?本合集为你整理最实用的HTML5使用指南!涵盖HTML5基础语法、主流框架(如Bootstrap、Vue、React)集成方法,以及无需安装、直接在线编辑运行的平台推荐(如CodePen、JSFiddle)。无论你是新手还是进阶开发者,都能轻松掌握HTML5网页制作、响应式布局与交互功能开发,零配置开启高效前端编程之旅!

2

2025.12.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 8.2万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 6.9万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号