Redis源码阅读:Redis字符串SDS详解


Posted in Redis onJuly 15, 2021

SDS 基本概念

简单动态字符串(Simple Dynamic String)SDS,用作Redis 的默认字符串。

C语言中的字符串:以空字符结尾的字符数组

SDS实现举例

redis > SET msg "hello world"
OK

我们通过 SET 在 Redis 数据库中创建了一个数据键对象为 "msg" 和 数据值对象为 "hello world" 的键值对,其中数据键和数据值对象底层的字符串实现都是 SDS 。同时, SDS 还被用于 AOF 缓冲区。

SDS 定义

struct sdshdr {
    # 记录 buf 数组中已使用字节的数量,即当前字符串长度值  
    # 等于 SDS 所保存字符串的字节长度
    int len;
    # 记录 buf 数组中未使用字节的数量,buf空余可用的长度,append时使用  
    int free;
    # 字节char数组,用于保存字符串,实际保存字符串数据,最后一个字节保存了空字符 '\0'
    char buf[];
};

buf 属性的字节数组中的字符串长度等于 len 属性值加上1,因为 Redis遵循 C语言的规范,在SDS数据类型字符串的结尾加上了 空字符串,额外占用 1 个字节空间,这1个字节空间不计算在 SDS 的 len属性里面。

由于SDS将字符串的结尾加上了 空字符串符合C语言字符串规范,Redis 字符串操作可以兼容C语言中一部分字符串库中的函数,Redis 无需专门为 SDS在编写一套函数。

SDS的优点

常数复杂度获取字符串长度

  1. C字符串需要遍历整个字符串,计数,直到碰到空字符,停止计数,复杂度为O(N)
  2. SDS获取 len 属性值即可,复杂度为 O(1) 。所以 STRLEN 的复杂度也为 O(1)

API安全,杜绝缓冲区溢出

  1. C字符串在进行字符串拼接 strcat 时,需要预先分配足够的空间,来容纳拼接的字符串,否则会造成缓冲区溢出的问题,比如临近的空间有另外一个字符串。
  2. SDS 在进行字符串拼接时,会先检查 len 的长度是否足够,如果不够,会先扩展 len,再进行字符串拼接。

减少修改字符串长度时所需的内存重分配次数

  • 空间预分配
  • 当对 SDS 进行空间扩展时,计算扩展之后的 len值如果小于 1mb,那么久会分配 扩展之后的 len 值给 free 属性作为,为下次扩展时预分配的未使用空间,如果下次扩展所需字节空间小于 free 的值,那么就无需进行空间扩展,直接使用未使用空间。
  • 惰性空间释放
  • 同样,默认情况下,对 SDS 进行缩减时,缩减的空间不会立刻被这个SDS释放,而是分配给 free ,如果之后再进行扩展时,有可能会用到。
  • Redis 的 SDS 类型通过这两种空间分配策略,减少了字符串增长缩减时所需的内存重分配操作,为内存分配提供了优化。

二进制安全

Redis 通过 len属性的值来判断是否结束,而不是C字符串的 \0 作为结束。

兼容部分C字符串函数

上面已经提到SDS在末尾添加了 \0 ,这样可以兼容部分C字符串函数,可以直接使用 <string.h> 函数库。

Redis 字符串源码原理

1、Redis的字符串结构被设计成一个[SDS]结构

字符串实际内容是被存放在一个数组中,如下表

struct SDS<T> {
  T capacity; // 数组容量
  T len; // 数组实际长度
  byte flags; // 特殊标识位,不理睬它
  byte[] content; // 数组内容
}

当字符串的大小超出当前分配的capacity大小时,数组将扩容,分配更大的数组,将旧的数组拷贝到新数组中,再将增加到字符串添加进去。

2、embstr 与raw

1)Redis的字符串的储存方式分为2种,当长度特别短时,使用emb形式存储,当长度超出44时,使用raw存储。

2)俩者的区别:

Redis的对象头结构如下:

struct RedisObject {
    int4 type; // 4bits
    int4 encoding; // 4bits
    int24 lru; // 24bits
    int32 refcount; // 4bytes
    void *ptr; // 8bytes,64-bit system
} robj;

解析:不同的对象具有不同类型的type;同一个类型的type会有不同的存储形式encoding;使用lru来记录对象的LRU信息,每个对象都有一个引用计数,当计数为0的时候,对象就会被销毁,内存被回收;pre指针用来指示对象内容具体存储位置;上诉对象有结构内容加起来需要占用16字节的存储空间。

SDS对象头大小:实际内容的大小(capacity) + 3byte,3是用来存储capacity + len + flags内容加起来的长度,而content数组初始值是16,所有SDS最小的大小是19 (16+3 );

存储形式如下图:

Redis源码阅读:Redis字符串SDS详解

解析:embstr将RedisObject对象头和SDS对象连续存在一起,使用malloc方法一次分配;而raw需要俩次malloc,俩个对象头砸死内存地址上一般是不连续的。embstr最大能容纳的字符串长度是44字节

3、扩容策略

字符串在长度小于1M之前,扩容空间采用加倍策略,即保留100%冗余空间。当长度大于1M,没次扩容只会多分配1M的冗余空间。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Redis 相关文章推荐
Redis数据结构之链表与字典的使用
May 11 Redis
SpringBoot 集成Redis 过程
Jun 02 Redis
浅谈redis整数集为什么不能降级
Jul 25 Redis
缓存替换策略及应用(以Redis、InnoDB为例)
Jul 25 Redis
Redis分布式锁Redlock的实现
Aug 07 Redis
详解Redis在SpringBoot工程中的综合应用
Oct 16 Redis
SpringBoot集成Redis的思路详解
Oct 16 Redis
分布式Redis Cluster集群搭建与Redis基本用法
Feb 24 Redis
redis数据结构之压缩列表
Mar 21 Redis
源码分析Redis中 set 和 sorted set 的使用方法
Mar 22 Redis
如何使用注解方式实现 Redis 分布式锁
Jul 23 Redis
Redis实战之Lettuce的使用技巧详解
Dec 24 Redis
浅谈Redis位图(Bitmap)及Redis二进制中的问题
Redis做数据持久化的解决方案及底层原理
Jul 15 #Redis
Redis Cluster集群动态扩容的实现
redis requires ruby version2.2.2的解决方案
Jul 15 #Redis
厉害!这是Redis可视化工具最全的横向评测
Redis性能监控的实现
Redis 彻底禁用RDB持久化操作
Jul 09 #Redis
You might like
在php中取得image按钮传递的name值
2006/10/09 PHP
php使用json_decode后数字对象转换成了科学计数法的解决方法
2017/02/20 PHP
关于laravel后台模板laravel-admin select框的使用详解
2019/10/03 PHP
javascript验证只能输入数字和一个小数点示例
2013/10/21 Javascript
Node.js(安装,启动,测试)
2014/06/09 Javascript
NodeJS中利用Promise来封装异步函数
2015/02/25 NodeJs
jQuery实现最简单的切换图效果【可兼容IE6、火狐、谷歌、opera等】
2016/09/04 Javascript
Node.js检测端口(port)是否被占用的简单示例
2016/09/29 Javascript
原生JS实现匀速图片轮播动画
2016/10/18 Javascript
学习使用Bootstrap输入框、导航、分页等常用组件
2017/05/11 Javascript
详解Nodejs之静态资源处理
2017/06/05 NodeJs
基于vue2.x的电商图片放大镜插件的使用
2018/01/22 Javascript
基于nodejs的雪碧图制作工具的示例代码
2018/11/05 NodeJs
详解iframe跨域的几种常用方法(小结)
2019/04/29 Javascript
React精髓!一篇全概括小结(急速)
2019/05/23 Javascript
vue中实现图片压缩 file文件的方法
2020/05/28 Javascript
javascript的hashCode函数实现代码小结
2020/08/11 Javascript
[52:15]2014 DOTA2国际邀请赛中国区预选赛5.21 HGT VS LGD-GAMING
2014/05/23 DOTA
详解K-means算法在Python中的实现
2017/12/05 Python
django 按时间范围查询数据库实例代码
2018/02/11 Python
python 3.7.0 安装配置方法图文教程
2018/08/27 Python
对Pyhon实现静态变量全局变量的方法详解
2019/01/11 Python
python数据处理之如何选取csv文件中某几行的数据
2019/09/02 Python
Python中base64与xml取值结合问题
2019/12/22 Python
Python 解析库json及jsonpath pickle的实现
2020/08/17 Python
Pycharm2020最新激活码|永久激活(附最新激活码和插件的详细教程)
2020/09/29 Python
python爬虫利器之requests库的用法(超全面的爬取网页案例)
2020/12/17 Python
Etam德国:内衣精品店
2019/08/25 全球购物
学生自我评价范文
2014/02/02 职场文书
大学新生军训感言
2014/02/25 职场文书
诚实守信演讲稿
2014/09/01 职场文书
领导干部遵守党的政治纪律情况思想汇报
2014/09/14 职场文书
学校班子个人对照检查材料思想汇报
2014/09/27 职场文书
社区义诊通知
2015/04/24 职场文书
2015年创先争优工作总结
2015/05/23 职场文书
MySQL数据库实验实现简单数据库应用系统设计
2022/06/21 MySQL