mysql怎样实现轮回插入千万级数据
发布时间:09/01 来源:未知 浏览:
关键词:
![](/uploads/allimg/200930/5ed76071d275449914899.jpg)
mysql怎样实现轮回插入千万级数据?
1.建表:
CREATE TABLE `mysql_genarate` ( `id` int(11) NOT NULL AUTO_INCREMENT, `uuid` varchar(50) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=5990001 DEFAULT CHARSET=utf8
2.创立一条条轮回插入的储备历程
create procedure test_two1() begin declare i int default 0; while i < 3000 do INSERT into mysql_genarate(uuid) VALUES(UUID()); set i = i + 1; end while; end #
使用 call test_two1(); 测试,3000条数据耗时74秒,假如是千万级数据,这个速度将没法忍耐。
所以我在网上寻了一下优化的办法,发明可以拼接大量插入的sql语句,速度晋升许多;
3.优化后的储备历程
CREATE PROCEDURE insertPro(in sum INT)BEGINDECLARE count INT DEFAULT 0;DECLARE i INT DEFAULT 0; set @exesql = concat("insert into mysql_genarate(uuid) values"); set @exedata = ""; set count=0; set i=0;while count<sum do set @exedata = concat(@exedata, ",(UUID())"); set count=count+1; set i=i+1; if i%1000=0 then set @exedata = SUBSTRING(@exedata, 2); set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata); prepare stmt from @exesql; execute stmt; DEALLOCATE prepare stmt; set @exedata = ""; end if;end while;if length(@exedata)>0 then set @exedata = SUBSTRING(@exedata, 2); set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata); prepare stmt from @exesql; execute stmt; DEALLOCATE prepare stmt;end if;end;
调取 call insertPro(3000) ,耗时零点几秒,这个速度可以接受。
接着调取 call insertPro(30000000) ;
测试3000万条数据插入,结果耗时1824.203s(30分钟)。个人电脑这个速度可以了。
别的,采纳java多线程同时拼接sql,每10000条提交一次的方式,在8个线程同时运转的状况下,3000万条数据插入耗时336s,1亿条数据插入耗时1087s。
相关参照 :MySQL教程
以上就是mysql怎样实现轮回插入千万级数据的具体内容,更多请关注百分百源码网其它相关文章!