• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    浅谈redis采用不同内存分配器tcmalloc和jemalloc

    我们知道Redis并没有自己实现内存池,没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。

    在Redis的 zmalloc.c 源码中,我们可以看到如下代码:

    /* Double expansion needed for stringification of macro values. */ 
    #define __xstr(s) __str(s) 
    #define __str(s) #s 
    #if defined(USE_TCMALLOC) 
    #define ZMALLOC_LIB ("tcmalloc-" __xstr(TC_VERSION_MAJOR) "." __xstr(TC_VERSION_MINOR)) 
    #include google/tcmalloc.h> 
    #if (TC_VERSION_MAJOR == 1  TC_VERSION_MINOR >= 6) || (TC_VERSION_MAJOR > 1) 
    #define HAVE_MALLOC_SIZE 1 
    #define zmalloc_size(p) tc_malloc_size(p) 
    #else 
    #error "Newer version of tcmalloc required" 
    #endif 
    #elif defined(USE_JEMALLOC) 
    #define ZMALLOC_LIB ("jemalloc-" __xstr(JEMALLOC_VERSION_MAJOR) "." __xstr(JEMALLOC_VERSION_MINOR) "." __xstr(JEMALLOC_VERSION_BUGFIX)) 
    #include jemalloc/jemalloc.h> 
    #if (JEMALLOC_VERSION_MAJOR == 2  JEMALLOC_VERSION_MINOR >= 1) || (JEMALLOC_VERSION_MAJOR > 2) 
    #define HAVE_MALLOC_SIZE 1 
    #define zmalloc_size(p) je_malloc_usable_size(p) 
    #else 
    #error "Newer version of jemalloc required" 
    #endif 
    #elif defined(__APPLE__) 
    #include malloc/malloc.h> 
    #define HAVE_MALLOC_SIZE 1 
    #define zmalloc_size(p) malloc_size(p) 
    #endif 
    #ifndef ZMALLOC_LIB 
    #define ZMALLOC_LIB "libc" 
    #endif 

    从上面的代码中我们可以看到,Redis在编译时,会先判断是否使用tcmalloc,如果是,会用tcmalloc对应的函数替换掉标准的libc中的函数实现。其次会判断jemalloc是否使得,最后如果都没有使用才会用标准的libc中的内存管理函数。

    而在最新的2.4.4版本中,jemalloc已经作为源码包的一部分包含在源码包中,所以可以直接被使用。而如果你要使用tcmalloc的话,是需要自己安装的。

    下面简单说一下如何安装tcmalloc包,tcmalloc是google-proftools中的一部分,所以我们实际上需要安装google-proftools。如果你是在64位机器上进行安装,需要先安装其依赖的libunwind库。

    wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz tar zxvf libunwind-0.99-alpha.tar.gz cd libunwind-0.99-alpha/ CFLAGS=-fPIC ./configure make CFLAGS=-fPIC make CFLAGS=-fPIC install

    然后再进行google-preftools的安装:

    wget http://google-perftools.googlecode.com/files/google-perftools-1.8.1.tar.gz tar zxvf google-perftools-1.8.1.tar.gz cd google-perftools-1.8.1/ ./configure --disable-cpu-profiler --disable-heap-profiler --disable-heap-checker --disable-debugalloc --enable-minimal make make install sudo echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf #如果没有这个文件,自己建一个 sudo /sbin/ldconfig

    然后再进行Redis的安装,在make时指定相应的参数以启用tcmalloc

    $ curl -O http://redis.googlecode.com/files/redis-2.4.4.tar.gz $ tar xzvf redis-2.4.4.tar.gz $ cd redis-2.4.4 $ make USE_TCMALLOC=yes FORCE_LIBC_MALLOC=yes $ sudo make install

    再启动Redis后通过info命令就能看到使用的内存分配器了。

    下面回到本文的主题,对于tcmalloc,jemalloc和libc对应的三个内存分配器。其性能和碎片率如何呢?

    下面是一个简单测试结果,使用Redis自带的redis-benchmark写入等量数据进行测试,数据摘自采用不同分配器时Redis info信息。

    我们可以看到,采用tcmalloc时碎片率是最低的,为1.01,jemalloc为1.02,而libc的分配器碎片率为1.31,如下所未:

    used_memory:708391440 used_menory_human:675.57M used_memory_rss:715169792 used_memory_peak:708814040 used_memory_peak_human:675.98M mem_fragmentation_ratio:1.01mem_allocator:tcmalloc-1.7

    used_memory:708381168 used_menory_human:675.56M used_memory_rss:723587072 used_memory_peak:708803768 used_memory_peak_human:675.97M mem_fragmentation_ratio:1.02mem_allocator:jemalloc-2.2.1

    used_memory:869000400 used_menory_human:828.74M used_memory_rss:1136689152 used_memory_peak:868992208 used_memory_peak_human:828.74M mem_fragmentation_ratio:1.31mem_allocator:libc

    上面的测试数据都是小数据,也就是说单条数据并不大,下面我们尝试设置benchmark的-d参数,将value值调整为1k大小,测试结果发生了一些变化:

    used_memory:830573680 used_memory_human:792.10M used_memory_rss:849068032 used_memory_peak:831436048 used_memory_peak_human:792.92M mem_fragmentation_ratio:1.02mem_allocator:tcmalloc-1.7

    used_memory:915911024 used_memory_human:873.48M used_memory_rss:927047680 used_memory_peak:916773392 used_memory_peak_human:874.30M mem_fragmentation_ratio:1.01mem_allocator:jemalloc-2.2.1

    used_memory:771963304 used_memory_human:736.20M used_memory_rss:800583680 used_memory_peak:772784056 used_memory_peak_human:736.98M mem_fragmentation_ratio:1.04mem_allocator:libc

    可以看出,在分配大块内存和小块内存上,几种分配器的碎片率差距还是比较大的,大家在使用Redis的时候,还是尽量用自己真实的数据去做测试,以选择最适合自己数据的分配器。

    以上就是小编为大家带来的浅谈redis采用不同内存分配器tcmalloc和jemalloc全部内容了,希望大家多多支持脚本之家~

    您可能感兴趣的文章:
    • 查看Redis内存信息的命令
    • 一次关于Redis内存诡异增长的排查过程实战记录
    • 浅谈redis内存数据的持久化方式
    • 降低PHP Redis内存占用
    • 将MongoDB作为Redis式的内存数据库的使用方法
    • Redis教程(十四):内存优化介绍
    • Redis教程(十一):虚拟内存介绍
    • redis数据库查找key在内存中的位置的方法
    • Redis fork进程分配不到内存解决方案
    上一篇:利用ganglia监控redis的最新解决方法
    下一篇:详解redis大幅性能提升之使用管道(PipeLine)和批量(Batch)操作
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    浅谈redis采用不同内存分配器tcmalloc和jemalloc 浅谈,redis,采用,不同,内存,