pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例


Posted in Python onAugust 02, 2018

代码如下,步骤流程在代码注释中可见:

# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext
 
#初始化数据
 
#初始化pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
 
#打印数据
print df
 
#初始化spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
 spark = SparkSession\
  .builder\
  .appName("testDataFrame")\
  .getOrCreate()
 
sentenceData = spark.createDataFrame([
 (0.0, "I like Spark"),
 (1.0, "Pandas is useful"),
 (2.0, "They are coded by Python ")
], ["label", "sentence"])
 
#显示数据
sentenceData.select("label").show()
 
#spark.DataFrame 转换成 pandas.DataFrame
sqlContest = SQLContext(sc)
spark_df = sqlContest.createDataFrame(df)
 
#显示数据
spark_df.select("c1").show()
 
 
# pandas.DataFrame 转换成 spark.DataFrame
pandas_df = sentenceData.toPandas()
 
#打印数据
print pandas_df

程序结果:

pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例

以上这篇pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python复制文件代码实现
Dec 23 Python
python中类和实例如何绑定属性与方法示例详解
Aug 18 Python
Python从零开始创建区块链
Mar 06 Python
python numpy 按行归一化的实例
Jan 21 Python
详解用Python练习画个美队盾牌
Mar 23 Python
Django工程的分层结构详解
Jul 18 Python
python实现简单俄罗斯方块
Mar 13 Python
关于win10在tensorflow的安装及在pycharm中运行步骤详解
Mar 16 Python
Python unittest单元测试openpyxl实现过程解析
May 27 Python
cookies应对python反爬虫知识点详解
Nov 25 Python
使用pytorch实现线性回归
Apr 11 Python
自动在Windows中运行Python脚本并定时触发功能实现
Sep 04 Python
Python实现两个list求交集,并集,差集的方法示例
Aug 02 #Python
python爬虫框架scrapy实现模拟登录操作示例
Aug 02 #Python
python爬虫之线程池和进程池功能与用法详解
Aug 02 #Python
Python列表推导式与生成器用法分析
Aug 02 #Python
python flask实现分页的示例代码
Aug 02 #Python
Django分页查询并返回jsons数据(中文乱码解决方法)
Aug 02 #Python
Python实现正整数分解质因数操作示例
Aug 01 #Python
You might like
模仿OSO的论坛(三)
2006/10/09 PHP
让你同时上传 1000 个文件 (二)
2006/10/09 PHP
ThinkPHP调试模式与日志记录概述
2014/08/22 PHP
20个2014年最优秀的PHP框架回顾
2014/10/22 PHP
PHP中的命名空间相关概念浅析
2015/01/22 PHP
php实现图片以base64显示的方法
2016/10/13 PHP
[原创]php正则删除img标签的方法示例
2017/05/27 PHP
ThinkPHP框架实现定时执行任务的两种方法分析
2018/09/04 PHP
[全兼容哦]--实用、简洁、炫酷的页面转入效果loing
2007/05/07 Javascript
jquery ajax中使用jsonp的限制解决方法
2013/11/22 Javascript
JavaScript字符串对象substring方法入门实例(用于截取字符串)
2014/10/17 Javascript
jquery实现全选、不选、反选的两种方法
2016/09/06 Javascript
Javascript中for循环语句的几种写法总结对比
2017/01/23 Javascript
jQuery选择器之子元素过滤选择器
2017/09/28 jQuery
Swiper自定义分页器使用详解
2017/12/28 Javascript
微信小程序实现MUI数字输入框效果
2018/01/31 Javascript
详解react、redux、react-redux之间的关系
2018/04/11 Javascript
vue-cli 目录结构详细讲解总结
2019/01/15 Javascript
vuex实现及简略解析(小结)
2019/03/01 Javascript
详解vue-cli3开发Chrome插件实践
2019/05/29 Javascript
使用Vue 实现滑动验证码功能
2019/06/27 Javascript
JavaScript实现图片轮播特效
2019/10/23 Javascript
Vue基础配置讲解
2019/11/29 Javascript
jQuery实现简单评论区功能
2020/10/26 jQuery
python的dict判断key是否存在的方法
2020/12/09 Python
css3简单练习实现遨游浏览器logo的绘制
2013/01/30 HTML / CSS
美国在线鞋类零售商:LifeStride
2019/06/09 全球购物
圣彼得堡鲜花配送:Semicvetic
2020/09/15 全球购物
四年级学生评语大全
2014/04/21 职场文书
物流专业自荐信
2014/05/23 职场文书
国际会计专业求职信
2014/08/04 职场文书
学校领导班子四风问题整改意见
2014/10/02 职场文书
党员对十八届四中全会的期盼思想汇报范文
2014/10/17 职场文书
民事撤诉申请书范本
2015/05/18 职场文书
春晚观后感
2015/06/11 职场文书
python数据库批量插入数据的实现(executemany的使用)
2021/04/30 Python