亚洲视频二区_亚洲欧洲日本天天堂在线观看_日韩一区二区在线观看_中文字幕不卡一区

公告:魔扣目錄網為廣大站長提供免費收錄網站服務,提交前請做好本站友鏈:【 網站目錄:http://www.430618.com 】, 免友鏈快審服務(50元/站),

點擊這里在線咨詢客服
新站提交
  • 網站:51998
  • 待審:31
  • 小程序:12
  • 文章:1030137
  • 會員:747

在我們日常開發中如果使用redis做緩存,那么使用最多的可能為String類型,String類型使用簡單而且容易理解但這只是開發方面,如果業務數據量過大使用String類型存儲可行性是否還是最高,我們可以依靠在線Redis內存預估統計工具http://www.redis.cn/redis_memory/如下統計

模擬1億個String類型的鍵值對,key占用4個字節value占用4個字節,僅key,value占用內存800M,那Redis的String類型需要占用多少呢?如下所示

Redis緩存之String的濫用

 

key和value單純的內存消耗只占據了Redis的String類型所需總內存的十分之一,也是說有十分之九是存儲其它信息,那到底是什么呢?如下分析。

簡單動態字符串SDS

Redis使用的String類型底層實現就是SDS簡單動態字符串,為什么Redis需要封裝而不是c自帶的字符串呢?

SDS的優勢

  • SDS獲取字符串的長度時間復雜度為O(1),而C語言自帶的需要遍歷數組時間復雜度為O(N)。
  • SDS有效避免緩沖區溢出(在長度不足時可以擴容)。
  • SDS可以減少修改字符串帶來的內存分配(C語言字符串修改N次都需要重新分配內存,SDS最多需要重新分配N次內存)。

SDS結構

SDS底層結構從3.x到6.x版本變化挺大需要分開學習,3.x結構簡單如下所示

typedef char *sds;
struct sdshdr {
    // 記錄buf數組已使用的長度
    unsigned int len;
    
    // 記錄buf數組沒有使用的長度
    unsigned int free;
    
    // 字符串保存位置
    char buf[];
};
Redis緩存之String的濫用

 

需要注意的是buf結尾是結束符'''是一定存在的,占用一個字節,但是在計算len時是不會計算結束標識符''的。

6.x版本SDS結構代碼如下所示

typedef char *sds;
/* 
 * Note: sdshdr5 is never used, we just access the flags byte directly.
 * However is here to document the layout of type 5 SDS strings. 
 * sdshdr5未使用,其余都有使用
 */
struct __attribute__ ((__packed__)) sdshdr5 {
    unsigned char flags; /* 3 lsb of type, and 5 msb of string length */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; /* used  已使用長度*/
    uint8_t alloc; /* 分配長度 不包括報頭和空終止符,1個字節存儲 */
    unsigned char flags; /* 高3位存儲、低5位預留 */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr16 {
    uint16_t len; 
    uint16_t alloc; /* 分配長度 不包括報頭和空終止符,2個字節存儲 */
    unsigned char flags; 
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr32 {
    uint32_t len; 
    uint32_t alloc; /* 分配長度 不包括報頭和空終止符,4個字節存儲 */
    unsigned char flags; 
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr64 {
    uint64_t len; 
    uint64_t alloc; /* 分配長度 不包括報頭和空終止符,8個字節存儲 */
    unsigned char flags; 
    char buf[];
};

結構圖如下所示

Redis緩存之String的濫用

 

RedisObject結構

Redis存在不同的數據類型,在這些不同的數據類型中又需要記錄一些相同的信息如key最后訪問時間、引用次數等所以需要將其封裝為一個結構體(JAVA中的對象)來存儲這些元素這就是RedisObject結構圖如下所示。

Redis緩存之String的濫用

 

元數據type

元數據中的type為數據類型目前存在六種數據類型:string,hash,set,list,zset,stream可以通過命令type {key}獲取類型

#### String類型
127.0.0.1:6379> set name zhangsan
OK
127.0.0.1:6379> type name
string
#### List類型
127.0.0.1:6379> lpush keylist 1 zhangsan
(integer) 2
127.0.0.1:6379> type keylist
list
####  Hash類型
127.0.0.1:6379> hmset keyhash name zhangsan
OK
127.0.0.1:6379> type keyhash
hash
####  Set類型
127.0.0.1:6379> sadd keyset name zhangsan
(integer) 2
127.0.0.1:6379> type keyset
set
####  Sort Set類型
127.0.0.1:6379> zadd keyzset 1 zhangsan
(integer) 1
127.0.0.1:6379> type keyzset
zset
####  Bitmaps 類型
127.0.0.1:6379> setbit keybitmap 10 1
(integer) 0
127.0.0.1:6379> type keybitmap
string
####  Hyperloglogs類型 
127.0.0.1:6379> pfadd keyhyperloglogs 2 23 42 2
(integer) 1
127.0.0.1:6379> type keyhyperloglogs
string
####  Geospatial類型
127.0.0.1:6379> geoadd keygeo 13.361389 38.115556 test
(integer) 1
127.0.0.1:6379> type keygeo
zset
####  Stream類型
127.0.0.1:6379> xadd keystream * name zhangsan
"1650552771376-0"
127.0.0.1:6379> type keystream
stream

元數據encoding

encoding表示當前value值的編碼格式有三種int、embstr、raw,可以通過命令object encoding key獲取

####  如果值是數字編碼類型就是int
127.0.0.1:6379> set name 1
OK
127.0.0.1:6379> object encoding name
"int"

#### 如果值是字符串同時長度小于等于44那么就是embstr
127.0.0.1:6379> set name1 "zhangsan"
OK
127.0.0.1:6379> object encoding name1
"embstr"

#### 如果值是字符串同時長度大于44
127.0.0.1:6379> set name2 "qqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqq"
OK
127.0.0.1:6379> object encoding name2
"raw"

元數據refcount

refcount為被引用對象,當refcount=0表示可回收對象,可以通過命令refcount key查看引用次數。

RedisObject指針ptr

如果值的類型為int,那么ptr直接存儲的就是這個int類型的值,不會去指向其它內存地址,如下所示。

Redis緩存之String的濫用

 

當值為字符串類型,同時字符串的長度小于等于44時,數據采用embstr編碼格式編碼,將RedisObject對象的元數據、指針、SDS分配到一片連續的內存空間,避免內存碎片。

為什么字符串長度需要小于等于44呢?

Redis中的內存分配器jemalloc認為超出64字節就是一個大字符串所以就以64為界,而元數據占8字節、指針占8字節,SDS分兩種情況

1、如果是6.x版本SDS其它內存消耗4個字節(1B(len)+1B(alloc)+1B(flag)+1B(''))所以是64-8-8-4=44。

2、如果是3.x版本SDS其它內存消耗9個字節(4B(len)+4B(free)+1B(''))所以是64-8-8-9=39。

版本不同編碼格式判斷的臨界值會有稍微不同。

Redis緩存之String的濫用

 

當值是字符串但是長度大于44時,編碼格式變為raw,SDS和RedisObject的內存分配不再連續,SDS內存空間將獨立分配,如下所示。

Redis緩存之String的濫用

 

dictEntry結構

那么除了SDS動態字符串和RedisObject結構,一個簡單的String操作還會涉及到哪些內存分配呢?當然是有的那就是哈希桶中的元素dictEntry,dictEntry中包含key、value、next等值如下所示。

Redis緩存之String的濫用

 

總結

String使用雖然簡單但不是萬金油哪里都能使用,在數據量大的時候我們需要選擇合適的數據結構來避免這種情況的發生,如list、set、sort set、hash等這些數據結構就能節省dictEntry所需要的內存,下面以6.x版本演示如下所示( info memory可以查看內存使用情況)。

#########################hash集合類型#############################
127.0.0.1:6379> info memory
# Memory
used_memory:866600
127.0.0.1:6379> hset obj name zhangsan
(integer) 1
127.0.0.1:6379> info memory
# Memory   第一次創建hash結構需要 消耗80字節
used_memory:866680
127.0.0.1:6379> hset obj addr beijin
(integer) 1
127.0.0.1:6379> info memory
# Memory    后續在hash結構中加入屬性  只消耗16字節
used_memory:866696

#########################String類型###############################
127.0.0.1:6379> info memory
# Memory
used_memory:866720
127.0.0.1:6379> set teststr zhangsan
OK
127.0.0.1:6379> info memory
# Memory  消耗72字節
used_memory:866792
127.0.0.1:6379> set teststr1 zhangsan
OK
127.0.0.1:6379> info memory
# Memory  消耗72字節
used_memory:866864

如果開發中需要存儲業務數據到Redis中,對數據類型的選擇一定要慎重,一味的濫用String在數據量大時對Redis的負擔將是巨大的,會影響RDB持久化、故障轉移、主從同步等。

分享到:
標簽:緩存 Redis
用戶無頭像

網友整理

注冊時間:

網站:5 個   小程序:0 個  文章:12 篇

  • 51998

    網站

  • 12

    小程序

  • 1030137

    文章

  • 747

    會員

趕快注冊賬號,推廣您的網站吧!
最新入駐小程序

數獨大挑戰2018-06-03

數獨一種數學游戲,玩家需要根據9

答題星2018-06-03

您可以通過答題星輕松地創建試卷

全階人生考試2018-06-03

各種考試題,題庫,初中,高中,大學四六

運動步數有氧達人2018-06-03

記錄運動步數,積累氧氣值。還可偷

每日養生app2018-06-03

每日養生,天天健康

體育訓練成績評定2018-06-03

通用課目體育訓練成績評定