python读取json文件并将数据插入到mongodb的方法


Posted in Python onMarch 23, 2015

本文实例讲述了python读取json文件并将数据插入到mongodb的方法。分享给大家供大家参考。具体实现方法如下:

#coding=utf-8
import sunburnt
import urllib
from pymongo import Connection
from bson.objectid import ObjectId
import logging
from datetime import datetime
import json
from time import mktime
from feedparser import _parse_date as parse_date
import time
import sys
import getopt
import ConfigParser
args = sys.argv[1:]
optlist, args = getopt.getopt(args, 'c:')
cmd_opt = {}
for opt in optlist:
  cmd_opt[opt[0]] = opt[1]
conf_file = cmd_opt['-c']
config = ConfigParser.ConfigParser()
config.read(conf_file)
hostname = config.get("mongodb", "hostname")
port_num = int(config.get("mongodb", "port_num"))
db_name = config.get("mongodb", "db")
connection = Connection(hostname, port_num)
db = connection[db_name]
courseTable = db.course
lecTable = db.lecture
try:
  f = file("json1-14/14.json")
  s = json.load(f)
  courseData = s["results"]["course"]
  lecDataArr = s["results"]["lecture"]
  f.close
  print "get file content successfully!"
  #insert course
  courseId = courseTable.save(courseData)
  courseId = str(courseId)
  print "courseId: "+courseId
  print "lec length: "+str(len(lecDataArr))
  #insert lecture
  lecIdArr = []
  for lecData in lecDataArr:
    lecData["course_id"] = courseId
    lecId = lecTable.save(lecData)
    lecIdArr.append(str(lecId))
  # update course
  courseTable.update({'_id':ObjectId(courseId)},
            {"$set":{"lectures.lecture_id_list":lecIdArr}},
            upsert=True, multi=True);
  print 'insert successfully!'
except Exception, e:
  print e

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python环境下搭建属于自己的pip源的教程
May 05 Python
Python实现对象转换为xml的方法示例
Jun 08 Python
pandas apply 函数 实现多进程的示例讲解
Apr 20 Python
pytorch + visdom 处理简单分类问题的示例
Jun 04 Python
[原创]Python入门教程4. 元组基本操作
Oct 31 Python
python字典一键多值实例代码分享
Jun 14 Python
python制作简单五子棋游戏
Jun 18 Python
python与C、C++混编的四种方式(小结)
Jul 15 Python
python+selenium select下拉选择框定位处理方法
Aug 24 Python
python web框架中实现原生分页
Sep 08 Python
python 如何快速复制序列
Sep 07 Python
分享Python获取本机IP地址的几种方法
Mar 17 Python
python调用机器喇叭发出蜂鸣声(Beep)的方法
Mar 23 #Python
python批量生成本地ip地址的方法
Mar 23 #Python
python通过字典dict判断指定键值是否存在的方法
Mar 21 #Python
python执行外部程序的常用方法小结
Mar 21 #Python
python使用Flask框架获取用户IP地址的方法
Mar 21 #Python
Python使用Flask框架获取当前查询参数的方法
Mar 21 #Python
Python使用Flask框架同时上传多个文件的方法
Mar 21 #Python
You might like
yii2使用ajax返回json的实现方法
2016/05/14 PHP
Javascript打印网页部分内容的脚本
2008/11/17 Javascript
js checkbox(复选框) 使用集锦
2009/04/28 Javascript
jquery 新浪网易的评论块制作
2010/07/01 Javascript
jquery datepicker参数介绍和示例
2014/04/15 Javascript
JavaScript生成福利彩票双色球号码
2015/05/15 Javascript
jQuery简单实现验证邮箱格式
2015/07/15 Javascript
JavaScript SHA512&SHA256加密算法详解
2015/08/11 Javascript
jquery.cookie实现的客户端购物车操作实例
2015/12/24 Javascript
简单介绍jsonp 使用小结
2016/01/27 Javascript
javascript表单事件处理方法详解
2016/05/15 Javascript
微信小程序开发背景图显示功能
2018/08/08 Javascript
解决微信小程序中转换时间格式IOS不兼容的问题
2019/02/15 Javascript
layui监听工具栏的实例(操作列表按钮)
2019/09/10 Javascript
vue实现pdf文档在线预览功能
2019/11/26 Javascript
javascript实现滚动条效果
2020/03/24 Javascript
python中迭代器(iterator)用法实例分析
2015/04/29 Python
在python中安装basemap的教程
2018/09/20 Python
python3 实现一行输入,空格隔开的示例
2018/11/14 Python
两个元祖T1=('a', 'b'),T2=('c', 'd')使用匿名函数将其转变成[{'a': 'c'},{'b': 'd'}]的几种方法
2019/03/05 Python
详解Python图像处理库Pillow常用使用方法
2019/09/02 Python
python3 logging日志封装实例
2020/04/08 Python
Python内存映射文件读写方式
2020/04/24 Python
python实现爱奇艺登陆密码RSA加密的方法示例详解
2020/05/27 Python
python实现发送带附件的邮件代码分享
2020/09/22 Python
韩国乐天网上商城:Lotte iMall
2021/02/03 全球购物
特色冷饮店创业计划书
2014/01/28 职场文书
农民工预备党员思想汇报
2014/09/14 职场文书
全国法制宣传日活动总结2014
2014/11/01 职场文书
信息技术教研组工作总结
2015/08/13 职场文书
2016年“抗战胜利纪念日”71周年校园广播稿
2015/12/18 职场文书
nginx处理http请求实现过程解析
2021/03/31 Servers
Jupyter notebook 输出部分显示不全的解决方案
2021/04/24 Python
python中sqllite插入numpy数组到数据库的实现方法
2021/06/21 Python
Redis集群新增、删除节点以及动态增加内存的方法
2021/09/04 Redis
使用Redis实现点赞取消点赞的详细代码
2022/03/20 Redis