测试说明

之前测试对比过 numa 对 tidb 性能的影响，看到 Gin 分享的《单机 8 个 NUMA node 如何玩转 TiDB - AMD EPYC 服务器上的 TiDB 集群最优部署拓扑探索》，也把自己做的测试数据分享一下吧。

TiDB 机器实际配置:

TiKV 机器实际配置：

TiKV 机器数量是三台，两块 nvme 磁盘，每块磁盘部署一个 tikv，所以总共 6 个 tikv 节点。

TiDB 机器数根据测试有变化，可以参考各个测试项。

TiDB、TiKV 机器都是 2 个 numa node。

其他组件例如 pd 另外部署在其他机器。

版本 4.0.11 + 非 NUMA 1 TiDB + 非 NUMA TiKV

  300         64940.86               64940.86               8.58ms   600         77195.00               77195.00               14.46ms   900         81585.65               81585.65               20.37ms 8.90ms   300         44313.18               44313.18               12.52ms   600         51690.41               51690.41               21.11ms   900         55043.92               55043.92               29.72ms 5.35               82.96ms   300           2709.89               54197.82               173.58ms   600           2709.29               54185.81               350.33ms   900           2671.25               53425.00               539.71ms

版本 5.3.0 + 非 NUMA 1 TiDB + 非 NUMA TiKV

ms   300         249986.45               249986.45               2.86ms   600         286983.16               286983.16               5.18ms   900         298627.92               298627.92               7.70ms     qps               latency   150         45258.93               45258.93               6.09ms   300         62606.41               62606.41               9.22ms   600         74409.73               74409.73          45721.24               12.75ms   600         54530.76               54530.76               20.74ms   900         58167.30               58167.30               28.67ms 1200         58458.73               58458.73 3830.01               76600.21               51.02ms   300           3983.72               79674.37               99.33ms   600           3975.55               79510.95               204.11ms   900           3981.51               79630.26               314.45ms 1200           3881.14               77622.70               411.96ms

版本 5.3.0 + 非 NUMA 1 TiDB + 非 NUMA TiKV + haproxy

            qps               latency   150         104443.54               104443.54               1.93ms   300         103219.71               103219.71               3.43ms   600         101954.57               1061916.12               61916.12               10.27ms   600         72541.68               72541.68               17.63ms   900         75804.77               75804.77               23.95ms 1200         78351.98       150         34619.41               34619.41               8.13ms   300         45416.08               45416.08               13.46ms   600         54170.32               54170.32               21.11ms   900   thread               tps                     qps               latency   150           3673.13               73462.65               51.94ms   300           3726.16               74523.21               101.13ms   600           3663.13               73262.64               207.82ms   900           3632.19               72643.83               314.45ms 1200           3594.83               71896.66               419.45ms

版本 5.3.0 + 非 NUMA 同server 2 TiDB + 非 NUMA TiKV

双 sysben 压测两个 tidb server，所以总结果是：线程 * 2， tps * 2.

        3.82ms   300         144803.92               144803.92               7.56ms   600         159357.54               159357.54               13.22ms   900         166837.99               166837.99                                  qps               latency   150         30795.56               30795.56               12.08ms   300         40467.50               40467.50               18.95ms   600         46298.63            7828.23               27828.23               23.95ms   600         31263.76               31263.76               40.37ms   900         33023.44               33023.44               57.87ms 1200         32931.74         150           2281.06               45621.12               102.97ms   300           2346.95               46939.09               193.38ms   600           2351.09               47021.81               383.33ms   900           2341.98               46839.64               580.02ms 1200           2278.33               45566.56               773.68ms

版本 5.3.0 + 非 NUMA 2 server 2 TiDB + 非 NUMA TiKV

双 sysben 压测两个 tidb server，所以总结果是：线程 * 2， tps * 2。

oltp_point_select:   600         282732.66               282732.66               4.91ms   900         295359.30               295359.30               7.30ms 1200         288584.38               288584.38               9.73ms .55               5.67ms   300         62083.56               62083.56               8.58ms   600         75400.60               75400.60               15.55ms   900         79980.77               79980.77                           qps               latency   150         26672.14               26672.14               9.56ms   300         32308.88               32308.88               16.12ms   600         36021.56               3.25               80425.04               97.55ms   600           4008.98               80179.64               200.47ms   900           4008.64               80172.76               314.45ms 1200           3908.37               78167.48               419.45ms

跟单 server 单 tidb 对比，从这里结果看的话，只有 oltp_update_index 稍微有点低，其他几项瓶颈应该还都在 tidb 里面。

版本 5.3.0 + 非 NUMA 3 server 3 TiDB + 非 NUMA TiKV

三 sysben 压测三个 tidb server，所以总结果是：线程 * 3， tps * 3。

          tps                     qps               latency   150         203556.48               203556.48               1.47ms   300         243697.05               243697.05               2.61ms   600         271   300         48446.07               48446.07               11.04ms   600         67812.67               67812.67               16.41ms   900         59744.62               59744.62               25.74ms 1200   150         20492.52               20492.52               12.30ms   300         23783.25               23783.25               20.37ms   600         26927.57               26927.57               38.94ms .55ms   600           4020.22               80404.41               204.11ms   900           4017.62               80352.36               308.84ms 1200           3907.52               78150.36               419.45ms

这几个压测脚本，就 oltp_update_index 到瓶颈了，其他的都跟机器数有关，增加 tidb server 单台 tidb server 数据还是不错的。oltp_update_index 下磁盘写达到 400MB/s.

版本 5.3.0 + 非 NUMA 3 server 3 TiDB + NUMA TiKV

三 sysben 压测三个 tidb server，所以总结果是：线程 * 3， tps * 3。

    tps                     qps               latency   150         211067.21               211067.21               1.44ms   300         247168.48               247168.48               2.52ms   600         277333.81   300         55830.78               55830.78               8.74ms   600         62626.64               62626.64               16.12ms   900         83426.79               83426.79               20.37ms 1200