Python访问MongoDB,并且转换成Dataframe的方法


Posted in Python onOctober 15, 2018

如下所示:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/7/13 11:10
# @Author : baoshan
# @Site : 
# @File : pandans_pymongo.py
# @Software: PyCharm Community Edition

import pymongo
import pandas as pd


def _connect_mongo(host, port, username, password, db):
 """ A util for making a connection to mongo. """
 if username and password:
  mongo_uri = "mongodb://%s:%s@%s:%s/%s" % (username, password, host, port, db)
  conn = pymongo.MongoClient(mongo_uri)
 else:
  conn = pymongo.MongoClient(host, port)

 return conn[db]


def read_mongo(db, collection, query={}, host='test43', port=27017, username=None, password=None, no_id=True):
 """ Read from Mongo and Store into DataFrame. """

 # Connect to MongoDB
 db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

 # Make a query to the specific DB and Collection
 cursor = db[collection].find(query).limit(10)

 # Expand the cursor and construct the DataFrame
 df = pd.DataFrame(list(cursor))
 df.to_csv("abc.csv", encoding="utf_8_sig") # 处理中文乱码问题

 if no_id:
  del df['_id']

 return df


read_mongo(db='service', collection='trace_log_regular', query={}, host='xxx', port=27017, username="xxx", password="xxx")

小结:

1. 解决了pymongo访问MongoDB的问题

2. 解决了查询的数据转成dataframe的问题

3. 解决了dataframe写入到csv的问题

4. 解决了中文乱码问题。

以上这篇Python访问MongoDB,并且转换成Dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python 获取进程pid号的方法
Mar 10 Python
numpy中矩阵合并的实例
Jun 15 Python
python字典值排序并取出前n个key值的方法
Oct 17 Python
python使用pandas处理大数据节省内存技巧(推荐)
May 05 Python
django 控制页面跳转的例子
Aug 06 Python
TFRecord格式存储数据与队列读取实例
Jan 21 Python
python GUI库图形界面开发之PyQt5布局控件QHBoxLayout详细使用方法与实例
Mar 06 Python
利用Python自动化操作AutoCAD的实现
Apr 01 Python
浅谈PyTorch中in-place operation的含义
Jun 27 Python
python简单实现9宫格图片实例
Sep 03 Python
BeautifulSoup中find和find_all的使用详解
Dec 07 Python
Keras多线程机制与flask多线程冲突的解决方案
May 28 Python
Django框架的中的setting.py文件说明详解
Oct 15 #Python
python得到电脑的开机时间方法
Oct 15 #Python
python得到单词模式的示例
Oct 15 #Python
详解python如何在django中为用户模型添加自定义权限
Oct 15 #Python
Python 实现某个功能每隔一段时间被执行一次的功能方法
Oct 14 #Python
Python 实现异步调用函数的示例讲解
Oct 14 #Python
python 异或加密字符串的实例
Oct 14 #Python
You might like
英雄试炼之肉山谷—引领RPG新潮流
2020/04/20 DOTA
PHP实现的登录,注册及密码修改功能分析
2016/11/25 PHP
网页自动刷新,不产生嗒嗒声的一个解决方法
2007/03/27 Javascript
date.parse在IE和FF中的区别
2010/07/29 Javascript
ejs v9 javascript模板系统
2012/03/21 Javascript
JS常用字符串处理方法应用总结
2014/05/22 Javascript
基于JS实现简单的样式切换效果代码
2015/09/04 Javascript
bootstrap输入框组代码分享
2016/06/07 Javascript
JavaScript SHA1加密算法实现详细代码
2016/10/06 Javascript
Node.js学习之TCP/IP数据通讯(实例讲解)
2017/10/11 Javascript
jquery ajaxfileupload异步上传插件
2017/11/21 jQuery
layui 实现加载动画以及非真实加载进度的方法
2019/09/23 Javascript
微信小程序返回箭头跳转到指定页面实例解析
2019/10/08 Javascript
Python中__call__用法实例
2014/08/29 Python
详解Python的单元测试
2015/04/28 Python
Python输出9*9乘法表的方法
2015/05/25 Python
Python多进程库multiprocessing中进程池Pool类的使用详解
2017/11/24 Python
简单介绍python封装的基本知识
2019/08/10 Python
python shapely.geometry.polygon任意两个四边形的IOU计算实例
2020/04/12 Python
如何基于matlab相机标定导出xml文件
2020/11/02 Python
详解移动端html5页面长按实现高亮全选文本内容的兼容解决方案
2016/12/03 HTML / CSS
荷兰在线啤酒店:Beerwulf
2019/08/26 全球购物
毕业生找工作的自我评价
2013/10/18 职场文书
施工安全协议书
2013/12/11 职场文书
简单而又朴实的个人求职信分享
2013/12/12 职场文书
小学新教师培训方案
2014/02/03 职场文书
市场营销专业毕业生求职信
2014/03/26 职场文书
房屋转让协议书
2014/04/11 职场文书
小学班长竞选演讲稿
2014/04/24 职场文书
安全教育演讲稿
2014/05/09 职场文书
主题班会演讲稿
2014/05/22 职场文书
2015年服务员工作总结
2015/04/08 职场文书
新年晚会开场白
2015/05/29 职场文书
七年级作文之秋游
2019/10/21 职场文书
mysql 如何获取两个集合的交集/差集/并集
2021/06/08 MySQL
Mysql开启外网访问
2022/05/15 MySQL