在python中使用pyspark读写Hive数据操作


Posted in Python onJune 06, 2020

1、读Hive表数据

pyspark读取hive数据非常简单,因为它有专门的接口来读取,完全不需要像hbase那样,需要做很多配置,pyspark提供的操作hive的接口,使得程序可以直接使用SQL语句从hive里面查询需要的数据,代码如下:

from pyspark.sql import HiveContext,SparkSession
 
_SPARK_HOST = "spark://spark-master:7077"
_APP_NAME = "test"
spark_session = SparkSession.builder.master(_SPARK_HOST).appName(_APP_NAME).getOrCreate()
 
hive_context= HiveContext(spark_session )
 
# 生成查询的SQL语句,这个跟hive的查询语句一样,所以也可以加where等条件语句
hive_database = "database1"
hive_table = "test"
hive_read = "select * from {}.{}".format(hive_database, hive_table)
 
# 通过SQL语句在hive中查询的数据直接是dataframe的形式
read_df = hive_context.sql(hive_read)

2 、将数据写入hive表

pyspark写hive表有两种方式:

(1)通过SQL语句生成表

from pyspark.sql import SparkSession, HiveContext
 
_SPARK_HOST = "spark://spark-master:7077"
_APP_NAME = "test"
 
spark = SparkSession.builder.master(_SPARK_HOST).appName(_APP_NAME).getOrCreate()
 
data = [
 (1,"3","145"),
 (1,"4","146"),
 (1,"5","25"),
 (1,"6","26"),
 (2,"32","32"),
 (2,"8","134"),
 (2,"8","134"),
 (2,"9","137")
]
df = spark.createDataFrame(data, ['id', "test_id", 'camera_id'])
 
# method one,default是默认数据库的名字,write_test 是要写到default中数据表的名字
df.registerTempTable('test_hive')
sqlContext.sql("create table default.write_test select * from test_hive")

(2)saveastable的方式

# method two
 
# "overwrite"是重写表的模式,如果表存在,就覆盖掉原始数据,如果不存在就重新生成一张表
# mode("append")是在原有表的基础上进行添加数据
df.write.format("hive").mode("overwrite").saveAsTable('default.write_test')

tips:

spark用上面几种方式读写hive时,需要在提交任务时加上相应的配置,不然会报错:

spark-submit --conf spark.sql.catalogImplementation=hive test.py

补充知识:PySpark基于SHC框架读取HBase数据并转成DataFrame

一、首先需要将HBase目录lib下的jar包以及SHC的jar包复制到所有节点的Spark目录lib下

二、修改spark-defaults.conf 在spark.driver.extraClassPath和spark.executor.extraClassPath把上述jar包所在路径加进去

三、重启集群

四、代码

#/usr/bin/python
#-*- coding:utf-8 ?*-
 
from pyspark import SparkContext
from pyspark.sql import SQLContext,HiveContext,SparkSession
from pyspark.sql.types import Row,StringType,StructField,StringType,IntegerType
from pyspark.sql.dataframe import DataFrame
 
sc = SparkContext(appName="pyspark_hbase")
sql_sc = SQLContext(sc)
 
dep = "org.apache.spark.sql.execution.datasources.hbase"
#定义schema
catalog = """{
       "table":{"namespace":"default", "name":"teacher"},
       "rowkey":"key",
       "columns":{
            "id":{"cf":"rowkey", "col":"key", "type":"string"},
            "name":{"cf":"teacherInfo", "col":"name", "type":"string"},
            "age":{"cf":"teacherInfo", "col":"age", "type":"string"},
            "gender":{"cf":"teacherInfo", "col":"gender","type":"string"},
            "cat":{"cf":"teacherInfo", "col":"cat","type":"string"},
            "tag":{"cf":"teacherInfo", "col":"tag", "type":"string"},
            "level":{"cf":"teacherInfo", "col":"level","type":"string"} }
      }"""
 
df = sql_sc.read.options(catalog = catalog).format(dep).load()
 
print ('***************************************************************')
print ('***************************************************************')
print ('***************************************************************')
df.show()
print ('***************************************************************')
print ('***************************************************************')
print ('***************************************************************')
sc.stop()

五、解释

数据来源参考请本人之前的文章,在此不做赘述

schema定义参考如图:

在python中使用pyspark读写Hive数据操作

六、结果

在python中使用pyspark读写Hive数据操作

以上这篇在python中使用pyspark读写Hive数据操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中django框架通过正则搜索页面上email地址的方法
Mar 21 Python
Python3访问并下载网页内容的方法
Jul 28 Python
Python彩色化Linux的命令行终端界面的代码实例分享
Jul 02 Python
Python使用正则表达式抓取网页图片的方法示例
Apr 21 Python
Python实现登陆文件验证方法
Oct 06 Python
NumPy 数组使用大全
Apr 25 Python
django+tornado实现实时查看远程日志的方法
Aug 12 Python
Python3 全自动更新已安装的模块实现
Jan 06 Python
python 爬虫爬取京东ps4售卖情况
Dec 18 Python
python中if嵌套命令实例讲解
Feb 25 Python
python中使用asyncio实现异步IO实例分析
Feb 26 Python
Python+Appium实现自动抢微信红包
May 21 Python
使用Python构造hive insert语句说明
Jun 06 #Python
Python通过kerberos安全认证操作kafka方式
Jun 06 #Python
pandas分批读取大数据集教程
Jun 06 #Python
python使用hdfs3模块对hdfs进行操作详解
Jun 06 #Python
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
Jun 06 #Python
python访问hdfs的操作
Jun 06 #Python
Python API 操作Hadoop hdfs详解
Jun 06 #Python
You might like
虹吸式咖啡壶操作
2021/03/03 冲泡冲煮
.htaccess文件保护实例讲解
2011/02/06 PHP
深入file_get_contents函数抓取内容失败的原因分析
2013/06/25 PHP
php编写批量生成不重复的卡号密码代码
2015/05/14 PHP
php随机显示指定文件夹下图片的方法
2015/07/13 PHP
php面向对象与面向过程两种方法给图片添加文字水印
2015/08/26 PHP
PHP中文字符串截断无乱码解决方法
2016/10/10 PHP
php运行报错Call to undefined function curl_init()的最新解决方法
2016/11/20 PHP
[原创]php token使用与验证示例【测试可用】
2017/08/30 PHP
laravel 判断查询数据库返回值的例子
2019/10/11 PHP
YII2框架中查询生成器Query()的使用方法示例
2020/03/18 PHP
javascript判断非数字的简单例子
2013/07/18 Javascript
javascript实现yield的方法
2013/11/06 Javascript
jQuery异步上传文件插件ajaxFileUpload详细介绍
2015/05/19 Javascript
BootStrap与Select2使用小结
2017/02/17 Javascript
JS设计模式之策略模式概念与用法分析
2018/02/05 Javascript
通过说明与示例了解js五种设计模式
2019/06/17 Javascript
express框架下使用session的方法
2019/07/31 Javascript
javascript canvas实现简易时钟例子
2020/09/05 Javascript
[48:35]2018DOTA2亚洲邀请赛 4.1 小组赛 A组加赛 TNC vs Optic
2018/04/03 DOTA
合并百度影音的离线数据( with python 2.3)
2015/08/04 Python
Python 实现淘宝秒杀的示例代码
2018/01/02 Python
使用DataFrame删除行和列的实例讲解
2018/04/08 Python
python中利用zfill方法自动给数字前面补0
2018/04/10 Python
python 删除非空文件夹的实例
2018/04/26 Python
python 实现数字字符串左侧补零的方法
2018/12/04 Python
pycharm 安装JPype的教程
2019/08/08 Python
opencv3/C++实现视频读取、视频写入
2019/12/11 Python
python 类之间的参数传递方式
2019/12/20 Python
详解python itertools功能
2020/02/07 Python
英文版网络工程师求职信
2013/10/28 职场文书
经典导游欢迎词大全
2014/01/16 职场文书
《小熊住山洞》教学反思
2014/02/21 职场文书
团拜会策划方案
2014/06/07 职场文书
90条交通安全宣传标语
2019/10/12 职场文书
解决Maven项目中 Invalid bound statement 无效的绑定问题
2021/06/15 Java/Android