pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例


Posted in Python onAugust 02, 2018

代码如下,步骤流程在代码注释中可见:

# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext
 
#初始化数据
 
#初始化pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
 
#打印数据
print df
 
#初始化spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
 spark = SparkSession\
  .builder\
  .appName("testDataFrame")\
  .getOrCreate()
 
sentenceData = spark.createDataFrame([
 (0.0, "I like Spark"),
 (1.0, "Pandas is useful"),
 (2.0, "They are coded by Python ")
], ["label", "sentence"])
 
#显示数据
sentenceData.select("label").show()
 
#spark.DataFrame 转换成 pandas.DataFrame
sqlContest = SQLContext(sc)
spark_df = sqlContest.createDataFrame(df)
 
#显示数据
spark_df.select("c1").show()
 
 
# pandas.DataFrame 转换成 spark.DataFrame
pandas_df = sentenceData.toPandas()
 
#打印数据
print pandas_df

程序结果:

pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例

以上这篇pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python安装第三方库的3种方法
Jun 21 Python
实例解析Python设计模式编程之桥接模式的运用
Mar 02 Python
python下实现二叉堆以及堆排序的示例
Sep 29 Python
django在接受post请求时显示403forbidden实例解析
Jan 25 Python
python使用json序列化datetime类型实例解析
Feb 11 Python
python3中zip()函数使用详解
Jun 29 Python
python pandas写入excel文件的方法示例
Jun 25 Python
Django 后台获取文件列表 InMemoryUploadedFile的例子
Aug 07 Python
关于pymysql模块的使用以及代码详解
Sep 01 Python
新手入门学习python Numpy基础操作
Mar 02 Python
浅谈pytorch中的BN层的注意事项
Jun 23 Python
Django集成富文本编辑器summernote的实现步骤
May 31 Python
Python实现两个list求交集,并集,差集的方法示例
Aug 02 #Python
python爬虫框架scrapy实现模拟登录操作示例
Aug 02 #Python
python爬虫之线程池和进程池功能与用法详解
Aug 02 #Python
Python列表推导式与生成器用法分析
Aug 02 #Python
python flask实现分页的示例代码
Aug 02 #Python
Django分页查询并返回jsons数据(中文乱码解决方法)
Aug 02 #Python
Python实现正整数分解质因数操作示例
Aug 01 #Python
You might like
提高PHP编程效率 引入缓存机制提升性能
2010/02/15 PHP
PHP函数之error_reporting(E_ALL ^ E_NOTICE)详细说明
2011/07/01 PHP
php解析xml提示Invalid byte 1 of 1-byte UTF-8 sequence错误的处理方法
2013/11/14 PHP
浅析PHP的静态成员函数效率更高的原因
2014/06/13 PHP
php中mysql连接方式PDO使用详解
2015/02/25 PHP
PHP简单操作MongoDB的方法(安装及增删改查)
2016/05/26 PHP
php实现的简单中文验证码功能示例
2017/01/03 PHP
YII2 实现多语言配置的方法分享
2017/01/11 PHP
php实现留言板功能(代码详解)
2017/03/28 PHP
Laravel 5.4向IoC容器中添加自定义类的方法示例
2017/08/15 PHP
PHP实现分布式memcache设置web集群session同步的方法
2018/04/10 PHP
30分钟就入门的正则表达式基础教程
2013/02/25 Javascript
js与运算符和或运算符的妙用
2014/02/14 Javascript
jquery中post方法用法实例
2014/10/21 Javascript
JQuery仿小米手机抢购页面倒计时效果
2014/12/16 Javascript
jQuery双向列表选择器select版
2016/11/01 Javascript
浅谈Vue.js中ref ($refs)用法举例总结
2017/12/19 Javascript
javascript 通过键名获取键盘的keyCode方法
2017/12/31 Javascript
mui框架 页面无法滚动的解决方法(推荐)
2018/01/25 Javascript
vue的token刷新处理的方法
2018/07/17 Javascript
JavaScript实现电灯开关小案例
2020/03/30 Javascript
jQuery实现的分页插件完整示例
2020/05/26 jQuery
原生js实现购物车功能
2020/09/23 Javascript
[20:30]职业巡回赛回顾
2018/08/09 DOTA
在Django的模型中添加自定义方法的示例
2015/07/21 Python
使用Python编写一个最基础的代码解释器的要点解析
2016/07/12 Python
flask使用session保存登录状态及拦截未登录请求代码
2018/01/19 Python
Python中使用gflags实例及原理解析
2019/12/13 Python
Django模型中字段属性choice使用说明
2020/03/30 Python
HTML5之SVG 2D入门10—滤镜的定义及使用
2013/01/30 HTML / CSS
便携式太阳能系统的创新者:GOAL ZERO
2018/02/04 全球购物
小学生期末自我鉴定
2014/01/19 职场文书
事假请假条范文
2014/04/11 职场文书
文明市民先进事迹
2014/05/15 职场文书
Python爬取英雄联盟MSI直播间弹幕并生成词云图
2021/06/01 Python
Python办公自动化PPT批量转换操作
2021/09/15 Python