• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

    介绍:Anemometer 是一个图形化显示MySQL慢日志的工具。结合pt-query-digest,Anemometer可以很轻松的帮你去分析慢查询日志,让你很容易就能找到哪些SQL需要优化

    This is the Box Anemometer, the MySQL Slow Query Monitor. This tool is used to analyze slow query logs collected from MySQL instances to identify problematic queries

    官方网站:https://github.com/box/Anemometer

    环境概况

    以写此文章时 percona-toolkit最新的版本3.0.10为例
    mysql数据库对应版本为5.7.21,二进制安装
    http和php均是系统CentOS Linux release 7.4.1708 (Core)自带版本

    需要安装的步骤如下:

    1.percona-toolkit工具的安装

    2.php web环境的搭建安装

    3.Anemometer并配置

    4.导入慢查询日志

    5.访问界面,查看慢查询

    6.其他相关和问题解决

    0. 整体的架构


    1. percona-toolkit工具的安装

    安装目的:pt-query-digest是percona-toolkit里面一个工具,其作用就是分析慢查询日志,将MySQL慢查询日志进行统计并友好的显示出来

    下载地址:https://www.percona.com/downloads/percona-toolkit/

    安装方式(rpm):

    1、下载包,wget https://www.percona.com/downloads/percona-toolkit/3.0.10/binary/redhat/7/x86_64/percona-toolkit-3.0.10-1.el7.x86_64.rpm

    2、安装依赖,yum install perl-DBI perl-DBD-MySQL perl-IO-Socket-SSL perl-Digest-MD5 -y

    3、正式安装,rpm -ivh percona-toolkit-3.0.10-1.el7.x86_64.rpm

    4、安装完毕验证,pt-query-digest --version pt-query-digest 3.0.10

    安装方式(tar二进制)

    1、下载包,wget https://www.percona.com/downloads/percona-toolkit/3.0.10/binary/tarball/percona-toolkit-3.0.10_x86_64.tar.gz

    2、安装依赖,yum install perl-DBI perl-DBD-MySQL perl-IO-Socket-SSL perl-Digest-MD5 -y

    3、解压包,tar xf percona-toolkit-3.0.10_x86_64.tar.gz

    4、直接使用工具, ./percona-toolkit-3.0.10/bin/pt-query-digest --version
    pt-query-digest 3.0.10

    2. php web环境的搭建

    安装目的:Anemometer需要依赖
    LAMP环境LAMP环境的安装:
    1、安装apache,yum install httpd httpd-devel -y
    2、安装php,yum install php php-mysql php-common php-bcmath php-dba php-cli php-gd php-mbstring php-mcrypt php-devel php-xml php-pdo -y
    3、修改时区,vim /etc/php.ini,修改为 date.timezone = PRC

    LAMP环境的启动:
    1、启动,systemctl start httpd
    2、关闭,systemctl stop httpd
    3、重启,systemctl restart httpd
    4、查看,systemctl status httpd

    3. 安装Anemometer并配置

    1、下载安装:
    安装目的:安装Anemometer应用
    下载地址:https://github.com/box/Anemometer
    下载包:git clone https://github.com/box/Anemometer.git
    移动到对应路径:mv Anemometer /var/www/html/anemometer
    2、目标慢查询数据库上需要授予Anemometer主机对应的权限
    1、目的,用于分析目标慢查询数据库explain执行计划
    2、授权,grant select on *.* to 'anemometer'@'$ip' identified by '123456';flush privileges;($ip为Anemometer主机对应ip地址)
    3、修改配置文件增加explain读取用户密码信息 cp conf/sample.config.inc.php conf/config.inc.php vim conf/config.inc.php\\

    4、修改配置文件指向数据源文件,vim conf/datasource_localhost.inc.php,当然也可以直接vim conf/config.inc.php

    5、初始化数据源的数据库表的配置,mysql -uroot -p123456 -h127.0.0.1 -P5700 install.sql,每个datasource源头可以对应不同的数据库database(修改install.sql的内容)

    4. 导入慢查询日志

    1、慢查询主机推送格式

    For pt-query-digest version  2.2
    $ pt-query-digest --user=anemometer --password=superSecurePass \
    
    --review h=db.example.com,D=slow_query_log,t=global_query_review \
    
    --review-history h=db.example.com,D=slow_query_log,t=global_query_review_history \
    
    --no-report --limit=0% \ 
    --filter=" \$event->{Bytes} = length(\$event->{arg}) and \$event->{hostname}=\"$HOSTNAME\"" \ 
    /var/lib/mysql/db.example.com-slow.log
    
    For pt-query-digest version >= 2.2
    $ pt-query-digest --user=anemometer --password=superSecurePass \
    
    --review h=db.example.com,D=slow_query_log,t=global_query_review \
    
    --history h=db.example.com,D=slow_query_log,t=global_query_review_history \
    
    --no-report --limit=0% \ 
    --filter=" \$event->{Bytes} = length(\$event->{arg}) and \$event->{hostname}=\"$HOSTNAME\"" \ 
    /var/lib/mysql/db.example.com-slow.log
    

    2、慢查询主机推动脚本示例

    #config anemometer server, the purpose is to push slow query to the remote anemometer server and store it.
    anemometer_host="127.0.0.1"
    anemometer_user="root"
    anemometer_password="123456"
    anemometer_port=5700
    anemometer_db="slow_query_log"
    
    #config mysql server, the purpose is to get the path of the slow query log.
    mysql_client="/usr/local/mysql-5.7.21/bin/mysql"
    mysql_user="root"
    mysql_password="123456"
    mysql_socket="/tmp/mysql_5700.sock"
    mysql_port=5700
    
    #config slowqury dir to cd, and then delete the expired slow query file.
    slowquery_dir="/data/mysql_$mysql_port/"
    
    #get the path of the slow query log.
    slowquery_file=`$mysql_client -u$mysql_user -p$mysql_password -S $mysql_socket -e "show variables like 'slow_query_log_file'"|grep log|awk '{print $2}'`
    pt_query_digest="/data/percona-toolkit-3.0.10/bin/pt-query-digest"
    
    #collect mysql slowquery log into lepus database.
    $pt_query_digest --user=$anemometer_user --password=$anemometer_password --port=$anemometer_port --review h=$anemometer_host,D=$anemometer_db,t=global_query_review --history h=$anemometer_host,D=$anemometer_db,t=global_query_review_history --no-report --limit=0% --filter=" \$event->{Bytes} = length(\$event->{arg}) and \$event->{hostname}=\"$HOSTNAME:$mysql_port\"" $slowquery_file
    
    #generate a new slow query log, the below is generate a new slow file per hour.
    tmp_log=`$mysql_client -u$mysql_user -p$mysql_password -S $mysql_socket -e "select concat('$slowquery_dir','slowquery_',date_format(now(),'%Y%m%d%H'),'.log');"|grep log|sed -n -e '2p'`
    
    #use new slow file to config mysql slowquery
    $mysql_client -u$mysql_user -p$mysql_password -S $mysql_socket -e "set global slow_query_log = 0;set global slow_query_log_file = '$tmp_log';"
    $mysql_client -u$mysql_user -p$mysql_password -S $mysql_socket -e "set global slow_query_log = 1; "
    
    #delete slow query file before 2 days
    cd $slowquery_dir
    /usr/bin/find ./ -name 'slowquery_*.log' -mtime +2|xargs rm -rf ;
    
    ####END####
    

    5. 访问界面,查看慢查询

    http://$ip/anemometer/ ($ip为Anemometer主机对应ip地址)


    6、其他相关和问题解决

    1、对于anemometer的主机上,需要进行慢查询主机hostname和ip的映射(修改/etc/hosts进行配置),目的在于慢查询explain执行计划的目标主机解析
    #collect mysql slowquery log into lepus database步骤中,$HOSTNAME:$mysql_port
    数据库存取的格式,hostname_max类似这种,cnwangdawei:5700
    2、中文乱码的问题,在#collect mysql slowquery log into lepus database步骤中添加 --charset=utf8
    3、慢查询主机数据库是5.7版本的数据库,可能出现界面ts_cnt不显示,替换percona toolkit为新版本,2.x.x -----> 3.x.x
    4、表结构和状态字符集显示乱码,添加mysqli的字符集设定,vim /var/www/html/anemometer/lib/QueryExplain.php
    新增(194行后增加),$this->mysqli->query("set names utf8");


    以上就是关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍的详细内容,更多关于Anemometer图形化显示MySQL慢日志的工具搭建的资料请关注脚本之家其它相关文章!

    您可能感兴趣的文章:
    • MySQL 一则慢日志监控误报的问题分析与解决
    • 详解mysql慢日志查询
    • MySQL慢日志实践小结
    • MySQL的慢日志线上问题及优化方案
    • mysql 5.5 开启慢日志slow log的方法(log_slow_queries)
    • MySQL中按时间获取慢日志信息的方法
    • 根据mysql慢日志监控SQL语句执行效率
    • MySQL 慢日志相关知识总结
    上一篇:通过实例解析PHP数据类型转换方法
    下一篇:PHP基于array_unique实现二维数组去重
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯

    时间:9:00-21:00 (节假日不休)

    地址:江苏信息产业基地11号楼四层

    《增值电信业务经营许可证》 苏B2-20120278

    关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍 关于,Anemometer,图形,化,显示,