之前測(cè)試MySQL批量插入，發(fā)現(xiàn)慢的離譜，找了下原因，竟然是少了個(gè)參數(shù)，rewriteBatchedStatements=true。昨天《PostgreSQL vs MySQL - 30倍性能差異》這個(gè)原因也找到了，汗顏。
rewriteBatchedStatements介紹
rewriteBatchedStatements=true 是MySQL JDBC驅(qū)動(dòng)程序中的一個(gè)連接屬性，用于啟用批量重寫(xiě)功能。它可以在執(zhí)行批量插入操作時(shí)提高性能。
默認(rèn)情況下，在JDBC中使用批量插入時(shí)，每個(gè)插入語(yǔ)句都會(huì)作為單獨(dú)的請(qǐng)求發(fā)送到數(shù)據(jù)庫(kù)服務(wù)器。但是，將 rewriteBatchedStatements 設(shè)置為 true 時(shí)，驅(qū)動(dòng)程序會(huì)對(duì)批量插入語(yǔ)句進(jìn)行重寫(xiě)和優(yōu)化，將多個(gè)插入語(yǔ)句合并成一個(gè)批量語(yǔ)句，然后一次性發(fā)送給數(shù)據(jù)庫(kù)服務(wù)器。
通過(guò)啟用批量重寫(xiě)功能，可以減少與數(shù)據(jù)庫(kù)服務(wù)器之間的通信開(kāi)銷(xiāo)和網(wǎng)絡(luò)往返時(shí)間。此外，將多個(gè)插入語(yǔ)句合并為一個(gè)批量語(yǔ)句還可以減少數(shù)據(jù)庫(kù)服務(wù)器上的查詢計(jì)劃優(yōu)化和日志記錄操作，從而提高整體性能。
需要注意的是，啟用 rewriteBatchedStatements=true 并不總是能夠帶來(lái)顯著的性能改進(jìn)。它的效果取決于多個(gè)因素，包括數(shù)據(jù)量、網(wǎng)絡(luò)延遲、數(shù)據(jù)庫(kù)和系統(tǒng)配置等。在某些情況下，尤其是需要大量數(shù)據(jù)插入的場(chǎng)景，啟用該選項(xiàng)可以明顯提升性能。然而，在某些情況下，可能不會(huì)看到明顯的性能改進(jìn)或甚至性能下降。
連接參數(shù)修改
在連接之后加上rewriteBatchedStatements=true，如下：
String url = "jdbc:mysql://localhost/mydatabase?rewriteBatchedStatements=true";
測(cè)試結(jié)果
先插入少量數(shù)據(jù)：10萬(wàn)條。下述結(jié)果，耗時(shí)毫秒級(jí)被我省略了，所以針對(duì)10萬(wàn)的數(shù)據(jù)量插入，看不出大的差異。
|
每批數(shù)量 |
耗時(shí) （第一輪） |
耗時(shí) |
耗時(shí) |
耗時(shí) （第n輪） |
平均耗時(shí) |
每秒寫(xiě)入速度 |
|
100 |
6s |
6s |
6s |
…… |
6s |
≈16666/s |
|
500 |
4s |
4s |
4s |
…… |
4s |
≈25000/s |
|
1000 |
4s |
4s |
4s |
…… |
4s |
≈25000/s |
|
3000 |
4s |
4s |
4s |
…… |
4s |
≈25000/s |
|
5000 |
4s |
4s |
4s |
…… |
4s |
≈25000/s |
|
10000 |
4s |
4s |
4s |
…… |
4s |
≈25000/s |
這個(gè)測(cè)試結(jié)果和昨天測(cè)試的PostgreSQL相當(dāng)（符合預(yù)期）。
接下來(lái)測(cè)試一下1000w數(shù)據(jù)的耗時(shí)，并對(duì)比一下PostgreSQL的性能（代碼均復(fù)用上篇）。
測(cè)試結(jié)果
|
每批數(shù)量 |
MySQL |
PostgreSQL |
每秒寫(xiě)入速度 |
每秒寫(xiě)入速度 |
|
100 |
8m 43s |
3m 36s |
≈19120 |
≈46296 |
|
500 |
5m 26s |
3m 37s |
≈30674 |
≈46082 |
|
1000 |
4m 59s |
3m 36s |
≈33444 |
≈46296 |
|
3000 |
4m 42s |
3m 35s |
≈35460 |
≈46511 |
|
5000 |
4m 41s |
3m 36s |
≈35587 |
≈46296 |
|
10000 |
4m 35s |
3m 38s |
≈36363 |
≈45871 |
|
20000 |
4m 36s |
3m 42s |
≈36231 |
≈45045 |
結(jié)論
- MySQL 批量插入時(shí)批量不同性能差異較大，PostgreSQL相對(duì)穩(wěn)定。
- 相同配置下PostgreSQL插入性能略具上風(fēng)。
- MySQL批量插入一定不能忘了加 rewriteBatchedStatements=true ，不然就像之前測(cè)試，就是搞笑的
本數(shù)據(jù)只是個(gè)人測(cè)試，僅供參考，不同環(huán)境、場(chǎng)景、配置等因素下，結(jié)論可能都不一致，大家可根據(jù)實(shí)際情況進(jìn)行測(cè)試。
