• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    Postgresql 如何清理WAL日志

    WAL是Write Ahead Log的简写,和oracle的redo日志类似,存放在$PGDATA/pg_xlog中,10版本以后在$PGDATA/pg_wal目录.

    如果开启了归档,在目录archive_status下会有一些文件,以ready结尾的,表示可以归档但还没有归档,done结尾的表示已经归档。

    和WAL日志数量相关的几个参数:

    wal_keep_segments = 300     # in logfile segments, 16MB each; 0 disables 
    checkpoint_completion_target = 0.5   # checkpoint target duration, 0.0 - 1.0 
    checkpoint_segments = 2048       # in logfile segments, min 1, 16MB each 
    #9.5以后checkpoint_segments不再使用,要参考设置以下两个参数
    #max_wal_size = 1GB #最大不超过这个值
    #min_wal_size = 80MB #最小保留这个值

    如果没有开启归档的情况下:

    不超过以下两个公式计算得出的个数

    (2 + checkpoint_completion_target) * checkpoint_segments + 1 或者checkpoint_segments + wal_keep_segments + 1

    9.5以后,如果超过了max_wal_size,那么就会删除不需要的wal.

    如果开启了归档,那么归档成功了,才会被清除,所以这里注意一下,如果你开启了归档,但是归档命令是失效的,那么wal目录会一直增长,不会自动删除WAL,会使得此目录被撑爆。

    什么情况下回自动清理wal

    1.做检查点的时候

    2.数据库启动的时候,或者修改了相关参数后重启数据库。

    触发检查点的情况:

    1.从前一个检查点发生过后的时间超过checkpoint_timeout设置的间隔(默认间隔为300秒(5分钟))。

    2.在版本9.4或更早版本中,自上一个检查点以来,超过使用checkpoint_segments(默认数量为3)设置的WAL段文件数量。

    3.在9.5或更高版本中,pg_xlog(版本10或更高版本,pg_wal)中WAL段文件的总大小已超过参数max_wal_size的值(默认值为1GB(64个文件))。

    4.PostgreSQL服务在smart和fast模式下停止。

    5.手动执行checkpoint.

    如何手动清理wal

    可以通过缩小以上涉及到的函数减少wal segment的数量,也可以手动删除,如下:

    pg_controldata
    Latest checkpoint location: 16/79FF5520
    Latest checkpoint's REDO location: 16/79FF54E8
    Latest checkpoint's REDO WAL file: 00000001000000160000001E

    这里表示16/79FF54E8检查点已经执行,已经包含在00000001000000160000001E日志文件中,那么这个日志之前的日志是可以清理的。

    可以手动使用系统命令rm清理

    也可以使用pg_archivecleanup清理

    比如:

    查看日志
    ll
    total 833M
    -rw------- 1 postgres postgres 64M Aug 29 11:10 00000001000000160000001E
    -rw------- 1 postgres postgres 64M Jul 16 11:24 00000001000000160000001F
    -rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000020
    -rw------- 1 postgres postgres 64M Jul 16 11:25 000000010000001600000021
    -rw------- 1 postgres postgres 64M Jul 16 11:25 000000010000001600000022
    -rw------- 1 postgres postgres 64M Jul 16 11:26 000000010000001600000023
    -rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000024
    -rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000025
    -rw------- 1 postgres postgres 64M Jul 16 11:26 000000010000001600000026
    -rw------- 1 postgres postgres 64M Jul 16 11:40 000000010000001600000027
    -rw------- 1 postgres postgres 64M Jul 16 11:40 000000010000001600000028
    -rw------- 1 postgres postgres 64M Jul 16 11:51 000000010000001600000029
    -rw------- 1 postgres postgres 64M Jul 16 11:40 00000001000000160000002A
    drwx------ 2 postgres postgres 4.0K Jun 18 10:15 archive_status
    保留000000010000001600000027之后的日志
     pg_archivecleanup /opt/pgdata11.3/pg_root/pg_wal/ 000000010000001600000027
     
     再次查看验证
     ls
    000000010000001600000027 000000010000001600000028 000000010000001600000029 00000001000000160000002A archive_status
    

    补充:Postgresql 数据库设置备份以及简单清理磁盘空间和wal日志的方法

    1. 最近想简单的进行数据库的备份工作, 因为现在数据库主要是用的pg数据库 , 所以想到用文本的方式进行, 有清理了一下日志表的数据 这里一起记录一下.

    先记录一下查看比较大的表的信息.

    从网上找了下资料, 使用子查询的方式来查询表信息.

    SELECT
      table_name,
      pg_size_pretty(table_size) AS table_size,
      pg_size_pretty(indexes_size) AS indexes_size,
      pg_size_pretty(total_size) AS total_size
    FROM (
      SELECT
        table_name,
        pg_table_size(table_name) AS table_size,
        pg_indexes_size(table_name) AS indexes_size,
        pg_total_relation_size(table_name) AS total_size
      FROM (
        SELECT ('"' || table_schema || '"."' || table_name || '"') AS table_name
        FROM information_schema.tables
      ) AS all_tables
      ORDER BY total_size DESC
    ) AS pretty_sizes;

    找出来最大的表信息之后, 需要使用

    truncate table 的方式能够直接清理空间不然空间还是占用着的.

    truncate table **** 

    或者是在数据库的 /data/base 目录下面也能够看到响应的表信息

    2. 整理pg_wal 文件内的信息

    wal 是 write ahead log 的意思 里面跟oracle的redo内容类似, 有时候文件会比较多需要清理一下.

    方法

    su - postgres
    cd /usr/lib/yourpgbinpath
    ./pg_resetwal {PGDATA}
    执行清理
    

    3. 执行备份恢复的方式

    备份 
    tar -czvf /pgdata.tar.gz /pgdatapath
    恢复
    tar -zxvf /pgdata.tar.gz / 
    恢复即可,
    

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

    您可能感兴趣的文章:
    • PostgreSQL 打印日志信息所在的源文件和行数的实例
    • postgresql 切换 log、xlog日志的实现
    • 解决PostgreSQL日志信息占用磁盘过大的问题
    • PostgreSQL归档配置及自动清理归档日志的操作
    • 关于PostgreSQL错误日志与慢查询日志收集
    • Postgresql的日志配置教程详解
    • PostgreSQL 日志文件的所在位置
    上一篇:PostgreSQL归档配置及自动清理归档日志的操作
    下一篇:解决PostgreSQL日志信息占用磁盘过大的问题
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    Postgresql 如何清理WAL日志 Postgresql,如何,清理,WAL,日志,