Python访问MongoDB,并且转换成Dataframe的方法


Posted in Python onOctober 15, 2018

如下所示:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/7/13 11:10
# @Author : baoshan
# @Site : 
# @File : pandans_pymongo.py
# @Software: PyCharm Community Edition

import pymongo
import pandas as pd


def _connect_mongo(host, port, username, password, db):
 """ A util for making a connection to mongo. """
 if username and password:
  mongo_uri = "mongodb://%s:%s@%s:%s/%s" % (username, password, host, port, db)
  conn = pymongo.MongoClient(mongo_uri)
 else:
  conn = pymongo.MongoClient(host, port)

 return conn[db]


def read_mongo(db, collection, query={}, host='test43', port=27017, username=None, password=None, no_id=True):
 """ Read from Mongo and Store into DataFrame. """

 # Connect to MongoDB
 db = _connect_mongo(host=host, port=port, username=username, password=password, db=db)

 # Make a query to the specific DB and Collection
 cursor = db[collection].find(query).limit(10)

 # Expand the cursor and construct the DataFrame
 df = pd.DataFrame(list(cursor))
 df.to_csv("abc.csv", encoding="utf_8_sig") # 处理中文乱码问题

 if no_id:
  del df['_id']

 return df


read_mongo(db='service', collection='trace_log_regular', query={}, host='xxx', port=27017, username="xxx", password="xxx")

小结:

1. 解决了pymongo访问MongoDB的问题

2. 解决了查询的数据转成dataframe的问题

3. 解决了dataframe写入到csv的问题

4. 解决了中文乱码问题。

以上这篇Python访问MongoDB,并且转换成Dataframe的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python分治法定义与应用实例详解
Jul 28 Python
关于python的list相关知识(推荐)
Aug 30 Python
Python pyinotify模块实现对文档的实时监控功能方法
Oct 13 Python
python的concat等多种用法详解
Nov 28 Python
python学生管理系统开发
Jan 30 Python
浅谈Scrapy网络爬虫框架的工作原理和数据采集
Feb 07 Python
python实现栅栏加解密 支持密钥加密
Mar 20 Python
python2爬取百度贴吧指定关键字和图片代码实例
Aug 14 Python
Python在终端通过pip安装好包以后在Pycharm中依然无法使用的问题(三种解决方案)
Mar 10 Python
Django中ORM找出内容不为空的数据实例
May 20 Python
Python如何把字典写入到CSV文件的方法示例
Aug 23 Python
python中类与对象之间的关系详解
Dec 16 Python
Django框架的中的setting.py文件说明详解
Oct 15 #Python
python得到电脑的开机时间方法
Oct 15 #Python
python得到单词模式的示例
Oct 15 #Python
详解python如何在django中为用户模型添加自定义权限
Oct 15 #Python
Python 实现某个功能每隔一段时间被执行一次的功能方法
Oct 14 #Python
Python 实现异步调用函数的示例讲解
Oct 14 #Python
python 异或加密字符串的实例
Oct 14 #Python
You might like
wiki-shan写的php在线加密的解密程序
2008/09/07 PHP
PHP Memcached + APC + 文件缓存封装实现代码
2010/03/11 PHP
PHP与SQL语句写一句话木马总结
2019/10/11 PHP
JavaScript中链式调用之研习
2011/04/07 Javascript
高性能Javascript笔记 数据的存储与访问性能优化
2012/08/02 Javascript
jQuery div层的放大与缩小简单实现代码
2013/03/28 Javascript
浅谈JavaScript 的执行顺序
2015/08/07 Javascript
JS弹出窗口的运用与技巧大全
2016/11/01 Javascript
JavaScript实现简单的四则运算计算器完整实例
2017/04/28 Javascript
通过V8源码看一个关于JS数组排序的诡异问题
2017/08/14 Javascript
Vue-router结合transition实现app前进后退动画切换效果的实例
2017/10/11 Javascript
vue使用keep-alive实现数据缓存不刷新
2017/10/21 Javascript
jquery使用FormData实现异步上传文件
2018/10/25 jQuery
koa2 用户注册、登录校验与加盐加密的实现方法
2019/07/22 Javascript
Layer UI表格列日期格式化及取消自动填充日期的实现方法
2020/05/10 Javascript
vue 解决setTimeOut和setInterval函数无效报错的问题
2020/07/30 Javascript
[03:54]DOTA2英雄梦之声_第06期_昆卡
2014/06/23 DOTA
python3.3教程之模拟百度登陆代码分享
2014/01/16 Python
详解python发送各类邮件的主要方法
2016/12/22 Python
Python生成随机密码的方法
2017/06/16 Python
python让列表倒序输出的实例
2018/06/25 Python
Python中的Django基本命令实例详解
2018/07/15 Python
python tkinter实现彩球碰撞屏保
2019/07/30 Python
Python面向对象之Web静态服务器
2019/09/03 Python
详解python常用命令行选项与环境变量
2020/02/20 Python
python实现从ftp服务器下载文件
2020/03/03 Python
Expected conditions模块使用方法汇总代码解析
2020/08/13 Python
CSS3实现全景图特效示例代码
2018/03/26 HTML / CSS
html5 Canvas画图教程(5)—canvas里画曲线之arc方法
2013/01/09 HTML / CSS
现代家居用品及礼品:LBC Modern
2018/06/24 全球购物
Under Armour瑞典官方网站:美国高端运动科技品牌
2018/11/21 全球购物
《长城和运河》教学反思
2014/04/14 职场文书
民警个人对照检查剖析材料
2014/09/17 职场文书
四风批评与自我批评范文
2014/10/14 职场文书
使用pandas或numpy处理数据中的空值(np.isnan()/pd.isnull())
2021/05/14 Python
redis使用不当导致应用卡死bug的过程解析
2021/07/01 Redis