• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    mysql 循环批量插入的实例代码详解

    背景

    前几天在MySql上做分页时,看到有博文说使用 limit 0,10 方式分页会有丢数据问题,有人又说不会,于是想自己测试一下。测试时没有数据,便安装了一个MySql,建了张表,在建了个while循环批量插入10W条测试数据的时候,执行时间之长无法忍受,便查资料找批量插入优化方法,这里做个笔记。

    数据结构

    寻思着分页时标准列分主键列、索引列、普通列3种场景,所以,测试表需要包含这3种场景,建表语法如下:

    drop table if exists `test`.`t_model`;
    
    Create table `test`.`t_model`( 
     `id` bigint NOT NULL AUTO_INCREMENT COMMENT '自增主键',
     `uid` bigint COMMENT '业务主键',
     `modelid` varchar(50) COMMENT '字符主键',
     `modelname` varchar(50) COMMENT '名称',
     `desc` varchar(50) COMMENT '描述',
     primary key (`id`),
     UNIQUE index `uid_unique` (`uid`),
     key `modelid_index` (`modelid`) USING BTREE
    ) ENGINE=InnoDB charset=utf8 collate=utf8_bin;

    为了方便操作,插入操作使用存储过程通过while循环插入有序数据,未验证其他操作方式或循环方式的性能。

    执行过程

    1、使用最简单的方式直接循环单条插入1W条,语法如下:

    drop procedure if exists my_procedure; 
    delimiter //
    create procedure my_procedure()
    begin
     DECLARE n int DEFAULT 1;
     WHILE n  10001 DO
     insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc'); 
     set n = n + 1;
     END WHILE;
    end
    //               
    delimiter ;

    插入1W条数据,执行时间大概在6m7s,按照这个速度,要插入1000W级数据,估计要跑几天。

    2、于是,构思加个事务提交,是否能加快点性能呢?测试每1000条就commit一下,语法如下:

    delimiter //
    create procedure u_head_and_low_pro()
    begin
     DECLARE n int DEFAULT 17541;
     WHILE n  10001 DO
       insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc'); 
       set n = n + 1;
       if n % 1000 = 0 
       then
        commit;
       end if;
     END WHILE;
    end
    //
    delimiter ;

    执行时间 6 min 16 sec,与不加commit执行差别不大,看来,这种方式做批量插入,性能是很低的。

    3、使用存储过程生成批量插入语句执行批量插入插入1W条,语法如下:

    drop procedure IF EXISTS u_head_and_low_pro;
    delimiter $$
    create procedure u_head_and_low_pro()
    begin
     DECLARE n int DEFAULT 1;
     set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ';
     set @exedata = '';
     WHILE n  10001 DO
     set @exedata = concat(@exedata,"(",n,",","'id20170831",n,"','","name",n,"','","desc'",")");
     if n % 1000 = 0 
     then
      set @exesql = concat(@exesql,@exedata,";");
      prepare stmt from @exesql;
      execute stmt;
      DEALLOCATE prepare stmt;
      commit; 
      set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ';
      set @exedata = "";
     else
      set @exedata = concat(@exedata,',');
     end if;
     set n = n + 1;
     END WHILE;
    end;$$ 
    delimiter ;

    执行时间 3.308s。

    总结

    批量插入时,使用insert的values批量方式插入,执行速度大大提升。

    以上所述是小编给大家介绍的mysql 循环批量插入的实例代码详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
    如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

    您可能感兴趣的文章:
    • mysql大批量插入数据的4种方法示例
    • MYSQL批量插入数据的实现代码
    • MySQL实现批量插入以优化性能的教程
    • MySQL批量插入遇上唯一索引避免方法
    • Mysql使用insert插入多条记录 批量新增数据
    • MYSQL开发性能研究之批量插入数据的优化方法
    • MySQL批量插入数据脚本
    • MySQL批量SQL插入性能优化详解
    • MySql批量插入优化Sql执行效率实例详解
    • MySQL如何快速批量插入1000w条数据
    上一篇:详解MYSQL中重命名procedure的一种方法
    下一篇:MySQL数据表合并去重的简单实现方法
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    mysql 循环批量插入的实例代码详解 mysql,循环,批量,插入,的,