python读取json文件并将数据插入到mongodb的方法


Posted in Python onMarch 23, 2015

本文实例讲述了python读取json文件并将数据插入到mongodb的方法。分享给大家供大家参考。具体实现方法如下:

#coding=utf-8
import sunburnt
import urllib
from pymongo import Connection
from bson.objectid import ObjectId
import logging
from datetime import datetime
import json
from time import mktime
from feedparser import _parse_date as parse_date
import time
import sys
import getopt
import ConfigParser
args = sys.argv[1:]
optlist, args = getopt.getopt(args, 'c:')
cmd_opt = {}
for opt in optlist:
  cmd_opt[opt[0]] = opt[1]
conf_file = cmd_opt['-c']
config = ConfigParser.ConfigParser()
config.read(conf_file)
hostname = config.get("mongodb", "hostname")
port_num = int(config.get("mongodb", "port_num"))
db_name = config.get("mongodb", "db")
connection = Connection(hostname, port_num)
db = connection[db_name]
courseTable = db.course
lecTable = db.lecture
try:
  f = file("json1-14/14.json")
  s = json.load(f)
  courseData = s["results"]["course"]
  lecDataArr = s["results"]["lecture"]
  f.close
  print "get file content successfully!"
  #insert course
  courseId = courseTable.save(courseData)
  courseId = str(courseId)
  print "courseId: "+courseId
  print "lec length: "+str(len(lecDataArr))
  #insert lecture
  lecIdArr = []
  for lecData in lecDataArr:
    lecData["course_id"] = courseId
    lecId = lecTable.save(lecData)
    lecIdArr.append(str(lecId))
  # update course
  courseTable.update({'_id':ObjectId(courseId)},
            {"$set":{"lectures.lecture_id_list":lecIdArr}},
            upsert=True, multi=True);
  print 'insert successfully!'
except Exception, e:
  print e

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python编程中使用Pillow来处理图像的基础教程
Nov 20 Python
Python3.x对JSON的一些操作示例
Sep 01 Python
Python使用Phantomjs截屏网页的方法
May 17 Python
详解Python下ftp上传文件linux服务器
Jun 21 Python
python自动化UI工具发送QQ消息的实例
Aug 27 Python
python之yield和Generator深入解析
Sep 18 Python
Python解压 rar、zip、tar文件的方法
Nov 19 Python
Django通用类视图实现忘记密码重置密码功能示例
Dec 17 Python
对tensorflow中cifar-10文档的Read操作详解
Feb 10 Python
django 外键创建注意事项说明
May 20 Python
Python SQLAlchemy库的使用方法
Oct 13 Python
使用Python制作一个数据预处理小工具(多种操作一键完成)
Feb 07 Python
python调用机器喇叭发出蜂鸣声(Beep)的方法
Mar 23 #Python
python批量生成本地ip地址的方法
Mar 23 #Python
python通过字典dict判断指定键值是否存在的方法
Mar 21 #Python
python执行外部程序的常用方法小结
Mar 21 #Python
python使用Flask框架获取用户IP地址的方法
Mar 21 #Python
Python使用Flask框架获取当前查询参数的方法
Mar 21 #Python
Python使用Flask框架同时上传多个文件的方法
Mar 21 #Python
You might like
PHP分页类集锦
2014/11/18 PHP
php+mysql数据库实现无限分类的方法
2014/12/12 PHP
php堆排序实现原理与应用方法
2015/01/03 PHP
PHP解耦的三重境界(浅谈服务容器)
2017/03/13 PHP
用javascript获取textarea中的光标位置
2008/05/06 Javascript
JQuery中extend使用介绍
2014/03/13 Javascript
js和jquery设置disabled属性为true使按钮失效
2014/08/07 Javascript
node.js中使用q.js实现api的promise化
2014/09/17 Javascript
js中split和replace的用法实例
2015/02/28 Javascript
js实现键盘上下左右键选择文字并显示在文本框的方法
2015/05/07 Javascript
js采用concat和sort将N个数组拼接起来的方法
2016/01/21 Javascript
基于JavaScript实现点击页面任何位置返回
2016/08/31 Javascript
vue中Npm run build 根据环境传递参数方法来打包不同域名
2018/03/29 Javascript
在vue中给列表中的奇数行添加class的实现方法
2018/09/05 Javascript
巧妙运用v-model实现父子组件传值的方法示例
2019/04/07 Javascript
原生js实现自定义滚动条
2021/01/20 Javascript
用python删除java文件头上版权信息的方法
2014/07/31 Python
在Python的Bottle框架中使用微信API的示例
2015/04/23 Python
Python中字典和集合学习小结
2017/07/07 Python
详解PyTorch批训练及优化器比较
2018/04/28 Python
Python实现的tcp端口检测操作示例
2018/07/24 Python
对python 读取线的shp文件实例详解
2018/12/22 Python
Python 通过打码平台实现验证码的实现
2019/05/13 Python
python+webdriver自动化环境搭建步骤详解
2019/06/03 Python
python递归法实现简易连连看小游戏
2020/03/25 Python
Python使用matplotlib 模块scatter方法画散点图示例
2019/09/27 Python
Windows上安装tensorflow  详细教程(图文详解)
2020/02/04 Python
详解基于python的全局与局部序列比对的实现(DNA)
2020/10/07 Python
python入门教程之基本算术运算符
2020/11/13 Python
全面介绍python中很常用的单元测试框架unitest
2020/12/14 Python
Python Selenium操作Cookie的实例方法
2021/02/28 Python
品牌宣传方案
2014/03/21 职场文书
卫校毕业生自我鉴定
2014/09/28 职场文书
2015年房产经纪人工作总结
2015/05/15 职场文书
springboot拦截器无法注入redisTemplate的解决方法
2021/06/27 Java/Android
Win11怎么修改电源模式?Win11修改电源模式的方法
2022/04/05 数码科技