解决redis与Python交互取出来的是bytes类型的问题


Posted in Python onJuly 16, 2020

基本代码

from redis import *

if __name__ == '__main__':
 sr = StrictRedis(host='localhost', port=6379, db=0)
 result=sr.set('name','python')
 print(result)

 result1 = sr.get('name')
 print(result1)

运行结果:

True

b'python'

这里我们存进去的是字符串类型的数据,取出来却是字节类型的,这是由于python3的与redis交互的驱动的问题,Python2取出来的就是字符串类型的。

为了得到字符串类型的数据,你可以每次取出来decode一下,但是太繁琐了,可以这样设置:

sr = StrictRedis(host='localhost', port=6379, db=0,decode_responses=True)

即在连接数据库的时候加上decode_responses=True即可

补充知识:python读并写入redis 使用pipline管道

日常开发中,我们总是需要将一些文件写入到缓存中。而读文件较快的方式就是python了,另外python提供了非常好用的api帮助我们连接redis。本例中将会用rediscluster包来连接redis集群,并使用pipeline管道插入文件

# encoding: utf-8
from rediscluster import StrictRedisCluster
import sys
import os
import datetime

# redis_nodes = [{"host": "10.80.23.175", "port": 7000},
#    {"host": "10.80.23.175", "port": 7001},
#    {"host": "10.80.24.175", "port": 7000},
#    {"host": "10.80.24.175", "port": 7001},
#    {"host": "10.80.25.175", "port": 7000},
#    {"host": "10.80.25.175", "port": 7001}
#    ]

def redis_cluster():
 
 redis_nodes = [{"host": "10.80.23.175", "port": 7000},
     {"host": "10.80.23.175", "port": 7001},
     {"host": "10.80.24.175", "port": 7000},
     {"host": "10.80.24.175", "port": 7001},
     {"host": "10.80.25.175", "port": 7000},
     {"host": "10.80.25.175", "port": 7001}
     ]
 try:
  redisconn = StrictRedisCluster(startup_nodes=redis_nodes,
          skip_full_coverage_check=True)
  return redisconn
 except Exception as e:
  print("Connect Error!")
  sys.exit(1)

def to_redis(redis_conn1, file_name):
 # file_name = "D:\data\logs\hippo.log"
 pipe = redis_conn1.pipeline()
 # pos = []
 index = 0
 count = 0
 with open(file_name, 'r') as file_to_read:
  while True:
   lines = file_to_read.readline()
   lines = lines.replace("\n", "")
   if not lines:
    break
    pass
   s = lines.split("\t")
   value = s[1]
   key = s[0]
   result = pipe.lpush(key, value)
   # print(file_name + s)
   index = index + 1
   if index > 5000:
    pipe.execute()
    index = 0
    count = count + 1
    print("execute insert! count is %d" % count)
   pass
  pass
 pipe.execute()

def read_file(path):
 if os.path.isfile(path):
  print("start execute file %s" % path)
  to_redis(path)
 else:
  for root, dirs, files in os.walk(path):
   # print('root_dir:', root) # 当前目录路径
   # print('sub_dirs:', dirs) # 当前路径下所有子目录
   print('files:', files) # 当前路径下所有非目录子文件
   for fileName in files:
    all_name = root + "/" + fileName
    print("start execute file %s" % all_name)
    to_redis(redis_conn, all_name)

start_time = datetime.datetime.now()
redis_conn = redis_cluster()

file_paths = sys.argv[1]
# 第一个参数是本文件 故去掉
#file_paths.pop[0]
#for file_name in file_paths:
#print(file_paths)
read_file(file_paths)
end_time = datetime.datetime.now()
print("use times is %d " % (end_time - start_time).seconds)

在使用的时候需要将要插入的文件以参数形式传入到命令中

例如,将 /data/a.log 插入到redis中

python RedisFIleToRedis.py /data/a.log

以上这篇解决redis与Python交互取出来的是bytes类型的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python sqlobject(mysql)中文乱码解决方法
Nov 14 Python
解决matplotlib库show()方法不显示图片的问题
May 24 Python
PyCharm安装Markdown插件的两种方法
Jun 24 Python
如何使用Python标准库进行性能测试
Jun 25 Python
python+opencv像素的加减和加权操作的实现
Jul 14 Python
python 计算方位角实例(根据两点的坐标计算)
Jan 17 Python
django 实现简单的插入视频
Apr 07 Python
python+adb+monkey实现Rom稳定性测试详解
Apr 23 Python
Python参数传递及收集机制原理解析
Jun 05 Python
Python实现一个优先级队列的方法
Jul 31 Python
Python extract及contains方法代码实例
Sep 11 Python
Python爬虫破解登陆哔哩哔哩的方法
Nov 17 Python
Python 使用 PyQt5 开发的关机小工具分享
Jul 16 #Python
Python csv文件记录流程代码解析
Jul 16 #Python
Python 抓取数据存储到Redis中的操作
Jul 16 #Python
django filter过滤器实现显示某个类型指定字段不同值方式
Jul 16 #Python
解决python对齐错误的方法
Jul 16 #Python
Python爬虫实例——爬取美团美食数据
Jul 15 #Python
django Model层常用验证器及自定义验证器详解
Jul 15 #Python
You might like
杏林同学录(五)
2006/10/09 PHP
php二维数组排序详解
2013/11/06 PHP
destoon常用的安全设置概述
2014/06/21 PHP
WordPress迁移时一些常见问题的解决方法整理
2015/11/24 PHP
PHP针对中英文混合字符串长度判断及截取方法示例
2017/03/31 PHP
javascript 解析后的xml对象的读取方法细解
2009/07/25 Javascript
firefox火狐浏览器与与ie兼容的2个问题总结
2010/07/20 Javascript
JS代码优化技巧之通俗版(减少js体积)
2011/12/23 Javascript
JQuery结合CSS操作打印样式的方法
2013/12/24 Javascript
js判断数据类型如判断是否为数组是否为字符串等等
2014/01/15 Javascript
动态的绑定事件addEventListener方法的使用
2014/01/24 Javascript
javascript实现拖放效果
2015/12/16 Javascript
jQuery 3.0 的 setter和getter 模式详解
2016/07/11 Javascript
单击按钮发送验证码,出现倒计时的简单实例
2017/03/17 Javascript
H5上传本地图片并预览功能
2017/05/08 Javascript
web页面和微信小程序页面实现瀑布流效果
2018/09/26 Javascript
判断iOS、Android以及PC端的示例代码
2018/11/15 Javascript
修改layui的后台模板的左侧导航栏可以伸缩的方法
2019/09/10 Javascript
js实现无限层级树形数据结构(创新算法)
2020/02/27 Javascript
JS制作简易计算器的实例代码
2020/07/04 Javascript
js实现可爱的气泡特效
2020/09/05 Javascript
python中使用urllib2伪造HTTP报头的2个方法
2014/07/07 Python
Python正则表达式使用范例分享
2016/12/04 Python
python模拟事件触发机制详解
2018/01/19 Python
Django ORM 自定义 char 类型字段解析
2019/08/09 Python
python 实现PIL模块在图片画线写字
2020/05/16 Python
Python如何实现爬取B站视频
2020/05/20 Python
keras输出预测值和真实值方式
2020/06/27 Python
Python连接mysql数据库及简单增删改查操作示例代码
2020/08/03 Python
汉语专业应届生求职信
2013/10/01 职场文书
2014年文学毕业生自我鉴定
2014/04/23 职场文书
2015年爱牙日活动总结
2015/02/05 职场文书
2015年检察院个人工作总结
2015/05/20 职场文书
企业内部管理控制:采购授权审批制度范本
2020/01/19 职场文书
MySQL 那些常见的错误设计规范,你都知道吗
2021/07/16 MySQL
《雀魂PONG☆》4月1日播出 PV角色设定情报
2022/03/20 日漫