缘起

我们公司是做SAAS的，具体的说是企业信息系统。

信息系统的特点，是数据量不算很大，但表特别多，并发很小，但查询逻辑非常复杂。

目前我们大概有几十亿条数据，3000多张表，TP+AP的并发不到100。

三年多以前，我们刚创业，做数据库选型时，跟东旭聊过，考察过TIDB。当时还没有TiFlash，TIDB的AP性能不够用，最后选了hadoop体系下的impala+kudu的方案。当时东旭跟我说，要做列存，做了列存AP就快了，超过impala那都不叫事。

impala+kudu的方案没有多行事务支持，我们在业务层做了很糙的事务处理，勉强支撑到现在。但这不是长久之计，而且国产化也是趋势，所以我又再次考虑数据库选型的问题。

三年多了，东旭吹过的牛B圆上了没，我们拭目以待。

环境准备

OLTP的性能，我不打算测，我们这点并发，哪怕是单机mysql都绰绰有余，所以只考察OLAP能力。

考察OLAP，我们会从很多角度，大部分是跟我们业务相关的，没有通用性，所以不在此赘述。

在这里只对比标准数据集tpcds下的性能。

由于我们是小数据量的场景，所以只使用50G的数据进行测试。

更大数据量的测试，以我的经验来看，只要硬件不出现瓶颈，对比结果不会相差很大。

测试用到的数据和脚本：

https://github.com/huaj1101/tpcds-tidb-impala

测试使用的集群配置及部署情况：

tidb version：5.4

impala version：3.2 （版本较老，是目前我们在用版本）

节点配置数量tidb部署内容hadoop部署内容16c 64g 150G ssd云盘3pd * 3 tidb * 3 monitor * 1master * 316c 64g 500G ssd云盘3tikv * 3 tiflash * 3data * 3

测试结果

querytidbimpalasum172.29 s204.76 squery011.030.75query021.52.27query030.50.24query046.7313.62query060.650.79query072.560.44query100.580.45query113.79.13query120.170.2query131.885.29query150.80.82query161.271.36query171.881.08query190.70.36query200.260.22query210.650.14query251.750.56query260.80.38query284.483.66query291.730.84query300.60.68query311.831.33query320.450.38query331.040.38query340.630.44query350.942.28query370.340.38query391.160.63query401.840.45query417.270.09query420.570.11query431.176.1query460.890.56query475.938.01query481.994.33query491.331.36query501.891.19query5115.5117.35query520.480.12query530.710.26query542.11.06query550.520.14query560.740.27query572.714.31query580.713.41query594.0810.09query600.960.39query610.940.26query620.695.51query630.750.27query646.397.37query657.535.61query680.90.58query690.650.5query710.830.3query729.722.71query730.580.44query748.626.11query7510.27.67query760.431.95query789.7715.82query791.811.77query810.570.59query820.410.54query830.520.62query851.221.93query882.823.49query891.320.69query900.220.78query910.30.32query920.40.28query932.066.17query940.861.23query952.162.01query960.430.7query974.499.31query980.590.24query992.110.29

资源占用

tidb

impala

总结

TIDB 5.4现在的OLAP性能已经跟上，综合性能比impala 3.2高15%左右，东旭吹过的牛B圆的很好。

TIDB 跑OLAP时的资源占用还有很大的优化空间，CPU和网络IO比impala高一倍以上。