高成本云服务?TiDB 帮你省钱
1266
2023-05-19
来,看看MySQL插入速度能有50W每秒吗
写入速度
MySQL每秒可以插入50w条记录吗?带着疑问,我们一起看看mysql每秒可以插入多少条记录?要回答这个问题,首先要考虑影响mysql插入速度的因素有哪些?
硬盘的速度,网卡的速度,写入行的数据量,数据在硬盘中的存放位置等等因素。
简单的数据,插入速度肯定快,复杂的插入肯定慢。
所以单纯这个问题不好回答,最好的办法是进行压力测试,最后求一个平均值。
一 测试环境:
MySQL表结构
CREATE TABLE `user_10w` ( `id` int(10) NOT NULL AUTO_INCREMENT, `name` varchar(20) DEFAULT NULL, `mobile` varchar(11) DEFAULT NULL, `add_time` int(11) DEFAULT NULL, `groupid` tinyint(1) DEFAULT NULL, `login_time` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=MyISAM AUTO_INCREMENT=4730016 DEFAULT CHARSET=utf8mb4
电脑配置
4核 Intel(R) Core(TM) i3-8100 CPU @ 3.60GHz
ssd 120G硬盘
二. 开始测试
说明:单机测试,不涉及网卡,网络传输的影响
测试程序php pdo
include_once("tool.php"); $dsn = 'mysql:dbname=demo;host=127.0.0.1'; $user = 'root'; $pass = 'root'; try{ $hand = new PDO($dsn, $user, $pass); }catch(PDOException $e){ echo 'Connection failed: ' . $e->getMessage(); } $query = $hand->prepare("insert into user_10w(name,mobile,add_time,groupid,last_login_time) values(?,?,?,?,?)"); $n=0; $count = 1000000; //每次插入100w $t = time(); echo 'start write,time is '. $t. "\n"; while(true){ $n++; $name = Tool::getRandomStr(5); $mobile = Tool::getRandNum(9); $group = Tool::getRandNum(1); $rs = $query->execute([$name,'13'.$mobile,time(),$group,time()]); if($n>$count)break; } echo 'write end, time is '. (time()-$t) . "\n";
1.无任何索引,单进程
start write,time is 1593338798 write end, time is 50
耗时50s, 平均2w/秒
2. 给name添加普通索引
write end, time is 60 root@test:/data/php# php7 pdo.php start write,time is 1593393695 write end, time is 61
大概慢了10s ,所以索引会导致插入变慢,因为要更新索引
3. 多进程测试
用go写了一个简单的多进程执行程序
package main import( "os/exec" "sync" ) var wg sync.WaitGroup func testRun(wg *sync.WaitGroup){ c := exec.Command("php7", "./pdo.php") c.Run() wg.Done() } func main(){ var n int = 10 wg.Add(n) for i:=0;i 结果: 耗时115s ,插入速度平均3.4w/s MySQL锁表状态 10进程一起执行 耗时5‘10“ ,插入速度大概3.2w/s MySQL锁表状态 最后: 可见,插入速度并没有网上说的那么高,随着进程数增多,锁冲突逐渐增加,插入效率下降。通过存储过程批量进行插入 ,插入速度应该会更高,但在实际高并发应用中使用并不多!抛开业务,单纯测这个好像没什么意义,一定要结合业务复杂度,性能需求来做测试,做优化。通过分布式、拆表提高并发量。 不足之处,请各位指正。
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。