• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    浅谈PostgreSQL消耗的内存计算方法

    wal_buffers默认值为-1,此时wal_buffers使用的是shared_buffers,wal_buffers大小为shared_buffers的1/32

    autovacuum_work_mem默认值为-1,此时使用maintenance_work_mem的值

    1 不使用wal_buffers、autovacuum_work_mem

    计算公式为:

    max_connections*work_mem + max_connections*temp_buffers +shared_buffers+(autovacuum_max_workers * maintenance_work_mem)

    假设PostgreSQL的配置如下:

    max_connections = 100
    temp_buffers=32MB
    work_mem=32MB
    shared_buffers=19GB
    autovacuum_max_workers = 3
    maintenance_work_mem=1GB #默认值64MB
    select(
     (100*(32*1024*1024)::bigint)
     + (100*(32*1024*1024)::bigint)
     + (19*(1024*1024*1024)::bigint)
     + (3 * (1024*1024*1024)::bigint )
    )::float8 / 1024 / 1024 / 1024
    --output
    28.25

    此时pg满载峰值时最多使用28.25GB内存,物理内容为32GB时,还有3.75GB内存给操作系统使用.

    2 使用wal_buffers,不使用autovacuum_work_mem

    计算公式为:

    max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem)

    假设PostgreSQL的配置如下:

    max_connections = 100
    temp_buffers=32MB
    work_mem=32MB
    shared_buffers=19GB 
    wal_buffers=16MB #--with-wal-segsize的默认值
    autovacuum_max_workers = 3 
    maintenance_work_mem=1GB
    select(
     (100*(32*1024*1024)::bigint)
     + (100*(32*1024*1024)::bigint)
     + (19*(1024*1024*1024)::bigint)
     + (16*1024*1024)::bigint
     + (3 * (1024*1024*1024)::bigint )
    )::float8 / 1024 / 1024 / 1024
    --output
    28.26

    此时pg满载峰值时最多使用28.5GB内存,物理内容为32GB,还有3.5GB内存给操作系统使用.

    3 同时使用wal_buffers、autovacuum_work_mem[建议使用]

    计算公式为:

    max_connections*work_mem + max_connections*temp_buffers +shared_buffers+wal_buffers+(autovacuum_max_workers * autovacuum_work_mem)+ maintenance_work_mem

    假设PostgreSQL的配置如下:

    max_connections = 100
    temp_buffers=32MB
    work_mem=32MB
    shared_buffers=19GB 
    wal_buffers=262143kb
    autovacuum_max_workers = 3
    autovacuum_work_mem=256MB
    maintenance_work_mem=2GB
    
    select(
      (100*(32*1024*1024)::bigint)
      + (100*(32*1024*1024)::bigint)
      + (19*(1024*1024*1024)::bigint)
      + (262143*1024)::bigint
      + (3 * (256*1024*1024)::bigint )
      + ( 2 * (1024*1024*1024)::bigint )
    )::float8 / 1024 / 1024 / 1024
    --output
    28.01

    此时pg载峰值时最多使用28.25GB内存,物理内容为32GB时,还有3.75GB内存给操作系统使用.建议所有内存消耗根据硬件配置,也就是使用这个配置.

    补充:postgresql 内存使用配置

    shared_buffers:这是最重要的参数,postgresql通过shared_buffers和内核和磁盘打交道,因此应该尽量大,让更多的数据缓存在shared_buffers中。通常设置为实际RAM的10%是合理的,比如50000(400M)

    work_mem: 在pgsql 8.0之前叫做sort_mem。postgresql在执行排序操作时,会根据work_mem的大小决定是否将一个大的结果集拆分为几个小的和 work_mem查不多大小的临时文件。显然拆分的结果是降低了排序的速度。因此增加work_mem有助于提高排序的速度。通常设置为实际RAM的2% -4%,根据需要排序结果集的大小而定,比如81920(80M)

    effective_cache_size:是postgresql能够使用的最大缓存,这个数字对于独立的pgsql服务器而言应该足够大,比如4G的内存,可以设置为3.5G(437500)

    maintenance_work_mem:这里定义的内存只是在CREATE INDEX, VACUUM等时用到,因此用到的频率不高,但是往往这些指令消耗比较多的资源,因此应该尽快让这些指令快速执行完毕:给maintence_work_mem大的内存,比如512M(524288)

    max_connections: 通常,max_connections的目的是防止max_connections * work_mem超出了实际内存大小。比如,如果将work_mem设置为实际内存的2%大小,则在极端情况下,如果有50个查询都有排序要求,而且都使 用2%的内存,则会导致swap的产生,系统性能就会大大降低。当然,如果有4G的内存,同时出现50个如此大的查询的几率应该是很小的。不过,要清楚 max_connections和work_mem的关系。

    配置 主机: 32GB

    shared_buffers = 1024MB
    work_mem = 1MB
    effective_cache_size = 20480MB
    maintenance_work_mem = 1024MB
    max_connections = 8000

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

    您可能感兴趣的文章:
    • Postgresql的pl/pgql使用操作--将多条执行语句作为一个事务
    • Postgresql psql文件执行与批处理多个sql文件操作
    • postgresql 启动与停止操作
    • 查看postgresql系统信息的常用命令操作
    • PostgreSQL查看版本信息的操作
    • 查询PostgreSQL占多大内存的操作
    • 快速解决PostgreSQL中的Permission denied问题
    • 本地计算机上的 postgresql 服务启动后停止的问题解决
    上一篇:快速解决PostgreSQL中的Permission denied问题
    下一篇:查询PostgreSQL占多大内存的操作
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    浅谈PostgreSQL消耗的内存计算方法 浅谈,PostgreSQL,消耗,的,内存,