python读取json文件并将数据插入到mongodb的方法


Posted in Python onMarch 23, 2015

本文实例讲述了python读取json文件并将数据插入到mongodb的方法。分享给大家供大家参考。具体实现方法如下:

#coding=utf-8
import sunburnt
import urllib
from pymongo import Connection
from bson.objectid import ObjectId
import logging
from datetime import datetime
import json
from time import mktime
from feedparser import _parse_date as parse_date
import time
import sys
import getopt
import ConfigParser
args = sys.argv[1:]
optlist, args = getopt.getopt(args, 'c:')
cmd_opt = {}
for opt in optlist:
  cmd_opt[opt[0]] = opt[1]
conf_file = cmd_opt['-c']
config = ConfigParser.ConfigParser()
config.read(conf_file)
hostname = config.get("mongodb", "hostname")
port_num = int(config.get("mongodb", "port_num"))
db_name = config.get("mongodb", "db")
connection = Connection(hostname, port_num)
db = connection[db_name]
courseTable = db.course
lecTable = db.lecture
try:
  f = file("json1-14/14.json")
  s = json.load(f)
  courseData = s["results"]["course"]
  lecDataArr = s["results"]["lecture"]
  f.close
  print "get file content successfully!"
  #insert course
  courseId = courseTable.save(courseData)
  courseId = str(courseId)
  print "courseId: "+courseId
  print "lec length: "+str(len(lecDataArr))
  #insert lecture
  lecIdArr = []
  for lecData in lecDataArr:
    lecData["course_id"] = courseId
    lecId = lecTable.save(lecData)
    lecIdArr.append(str(lecId))
  # update course
  courseTable.update({'_id':ObjectId(courseId)},
            {"$set":{"lectures.lecture_id_list":lecIdArr}},
            upsert=True, multi=True);
  print 'insert successfully!'
except Exception, e:
  print e

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
利用Python获取赶集网招聘信息前篇
Apr 18 Python
python 用lambda函数替换for循环的方法
Jun 09 Python
Python实现快速傅里叶变换的方法(FFT)
Jul 21 Python
python3实现网络爬虫之BeautifulSoup使用详解
Dec 19 Python
Python面向对象之多态原理与用法案例分析
Dec 30 Python
浅谈tensorflow 中tf.concat()的使用
Feb 07 Python
django实现更改数据库某个字段以及字段段内数据
Mar 31 Python
Python求解排列中的逆序数个数实例
May 03 Python
解决Pycharm双击图标启动不了的问题(JetBrains全家桶通用)
Aug 07 Python
python实现学生通讯录管理系统
Feb 25 Python
python3美化表格数据输出结果的实现代码
Apr 14 Python
Python图像处理之图像拼接
Apr 28 Python
python调用机器喇叭发出蜂鸣声(Beep)的方法
Mar 23 #Python
python批量生成本地ip地址的方法
Mar 23 #Python
python通过字典dict判断指定键值是否存在的方法
Mar 21 #Python
python执行外部程序的常用方法小结
Mar 21 #Python
python使用Flask框架获取用户IP地址的方法
Mar 21 #Python
Python使用Flask框架获取当前查询参数的方法
Mar 21 #Python
Python使用Flask框架同时上传多个文件的方法
Mar 21 #Python
You might like
百度地图经纬度转换到腾讯地图/Google 对应的经纬度
2015/08/28 PHP
PHP实现的函数重载功能示例
2018/08/03 PHP
php实现大文件断点续传下载实例代码
2019/10/01 PHP
JavaScript 对象链式操作测试代码
2010/04/25 Javascript
jQuery 幻灯片插件(带缩略图功能)
2011/01/24 Javascript
javascript游戏开发之《三国志曹操传》零部件开发(三)情景对话中仿打字机输出文字
2013/01/23 Javascript
将input file的选择的文件清空的两种解决方案
2013/10/21 Javascript
详解JS 比较两个Json对象的值是否相等的实例
2013/11/20 Javascript
JavaScript对象的property属性详解
2014/04/01 Javascript
node.js中的forEach()是同步还是异步呢
2015/01/29 Javascript
浅谈node.js中async异步编程
2015/10/22 Javascript
基于zepto.js简单实现上传图片
2016/06/21 Javascript
jquery实现上传文件大小类型的验证例子(推荐)
2016/06/25 Javascript
Mongoose学习全面理解(推荐)
2017/01/21 Javascript
JS如何判断浏览器类型和详细区分IE各版本浏览器
2017/03/04 Javascript
protractor的安装与基本使用教程
2017/07/07 Javascript
Bootstrap + AngularJS 实现简单的数据过滤字符查找功能
2017/07/27 Javascript
jQuery实现滚动效果
2017/11/17 jQuery
详解JS模块导入导出
2017/12/20 Javascript
js实现头像上传并且可预览提交
2020/12/25 Javascript
Python学习笔记之os模块使用总结
2014/11/03 Python
Sanic框架安装与简单入门示例
2018/07/16 Python
python读取Excel实例详解
2018/08/17 Python
Python3.5基础之变量、数据结构、条件和循环语句、break与continue语句实例详解
2019/04/26 Python
python实现共轭梯度法
2019/07/03 Python
python 用Matplotlib作图中有多个Y轴
2020/11/28 Python
澳大利亚冒险体验:Adrenaline(跳伞、V8赛车、热气球等)
2017/09/18 全球购物
创联软件面试题笔试题
2012/10/07 面试题
中学生在校期间的自我评价分享
2013/11/13 职场文书
五一手机促销方案
2014/03/08 职场文书
入党思想汇报怎么写
2014/04/03 职场文书
法人授权委托书样本
2014/09/19 职场文书
2015国庆节宣传语
2015/07/14 职场文书
史上最全的军训拉歌口号
2015/12/25 职场文书
教师反邪教心得体会
2016/01/15 职场文书
Vue Element-ui表单校验规则实现
2021/07/09 Vue.js