提高复制Order表效率的挑战

网友投稿 334 2024-03-08



测试环境

***集群配置

InstanceType

提高复制Order表效率的挑战

配置

数量

PD Server

ecs.c6.large

2CPU / 4GB 内存

3

TiDB Server

ecs.c6.2xlarge

8CPU / 16GB 内存

2

TiKV Server

ecs.i3.2xlarge

8CPU / 64GB 内存 / 1920 GB NVMe

4

dumpling/tidb-lightning

ecs.i3.2xlarge

8CPU / 64GB 内存 / 1920 GB NVMe

1

TiDB 和 dumpling/tidb-lightning 的节点 CPU 数量都是 8,所以本次测试的单节点操作的并行度为 8。

数据环境

记录数

MySQL[test_order]> select count(1) from test_order; +----------+ | count(1) | +----------+ | 30318907 | +----------+ 1 row in set (1.26 sec)

表结构

共 317 个字段和不含主键 11 个索引。

注:表名、库名、列名做过脱敏处理

| oc_b_order | CREATE TABLE `test_order` ( `id` bigint not null , `zbill_no` varchar(50) not null , `zsource_cod` varchar(60) default null , `zab_d_shop_id` bigint(20) default null , `zab_d_shop_ecod` varchar(50) default null, `zab_d_shop_title` varchar(100) default null, `zab_d_phy_wrhs_id` bigint(20) default 0, `zab_d_phy_wrhs_ecod` varchar(50) default null, `zab_d_phy_wrhs_enam` varchar(100) default null, `zab_d_customer_id` bigint(20) default null, `zab_d_customer_ecod` varchar(20) default null, `zab_d_customer_enam` varchar(50) default null, `zuser_id` bigint(20) default null, `zuser_nick` varchar(200) default null, `zorder_type` int(11) default null, `zorder_stat` int(11) default null, `zoccupy_stat` int(11) default null, `zsuffix_info` text default null, `zunique_key` varchar(200)default null,`zorder_flag` varchar(20) default null, `zproduct_amnt` decimal(18,4) default null, `zproduct_discount_amnt` decimal(18,4) default null, `zorder_discount_amnt` decimal(18,4) default null, `zadjust_amnt` decimal(18,4) default null, `zship_amnt` decimal(18,4) default null, `zservice_amnt` decimal(18,4)default null,`zorder_amnt` decimal(18,4) default null, `zreceived_amnt` decimal(18,4) default null, `zconsign_amnt` decimal(18,4) default null, `zconsign_ship_amnt` decimal(18,4) default null, `zamt_receive` decimal(18,4) default null, `zcod_amnt` decimal(18,4) default null, `zjd_receive_amnt` decimal(18,4) default null, `zjd_settle_amnt` decimal(18,4) default null, `zlogistics_cost` decimal(18,4) default null, `zor_inv` int(11) default null, `zinv_header` varchar(100) default null, `zinv_content` varchar(200) default null, `zor_geninv_notice` int(11) default 0, `zweight` decimal(18,4) default null, `zor_calcweight` int(11) default 0, `zab_d_logistics_id` bigint(20) default null, `zab_d_logistics_ecod` varchar(100) default null, `zab_d_logistics_enam` varchar(50) default null, `zexpresscode` varchar(100) default null, `zorder_date` datetime default null, `zend_tim` datetime default null, `zpay_tim` datetime default null, `zaudit_tim` datetime default null, `zbuyer_email` varchar(100) default null, `zreceiver_nam` varchar(700) default null, `zreceiver_mobile` varchar(500) default null, `zreceiver_phone` varchar(300) default null, `zab_d_region_province_id` bigint(20) default null, `zab_d_region_province_ecod` varchar(20) default null, `zab_d_region_province_enam` varchar(100) default null, `zab_d_region_city_id` bigint(20) default null, `zab_d_region_city_ecod` varchar(20) default null, `zab_d_region_city_enam` varchar(100) default null, `zab_d_region_area_id` bigint(20) default null, `zab_d_region_area_ecod` varchar(20) default null, `zab_d_region_area_enam` varchar(100) default null, `zab_d_region_town_enam` varchar(100) default null, `zreceiver_address` varchar(1000) default null, `zreceiver_zip` varchar(50) default null, `zreceiver_email` varchar(200) default null, `zor_cancel_merge` int(11) default 0, `zor_merge` int(11) default 0, `zor_split` int(11) default 0, `zwms_stat` int(11) default null, `zor_interecept` int(11) default 0, `zor_inreturning` int(11) default 0, `zsalesman_id` bigint(20) default null, `zsalesman_nam` varchar(100) default null, `zall_sku` varchar(500) default null, `zpay_type` int(11) default null, `zbuyer_message` varchar(500) default null, `zorder_source` varchar(200) default null, `zorig_order_id`bigint(20) default null, `zorig_return_order_id` bigint(20) default null, `zor_hasgift` int(11) default 0, `zqty_all` decimal(18,4) default null, `zsku_kind_qty` decimal(18,4) default null, `zsysremark` varchar(600) default null, `zinside_remark` varchar(600) default null, `zseller_memo` varchar(1000) default null, `zmerge_source_cod` text default null, `zplatform` int(11) default null, `zmerge_order_id` bigint(20) default null, `zsplit_order_id` bigint(20) default null, `zscan_tim` datetime default null, `zout_stat` int(11) default null, `ztid` varchar(200) default null, `zorder_tag` varchar(100) default null, `zwms_cancel_stat` int(11)default null,`zreturn_stat` int(11) default 0, `ztb_storecode` varchar(200) default null, `zrefund_confirm_stat` int(11) default null, `zauto_audit_stat` int(11) default null, `zor_jcorder` int(11) default 0, `zdouble11_presale_stat` int(11) default 0, `zdistribution_tim` datetime default null, `zor_invented` int(11) default 0, `zor_combination` int(11) default 0, `zor_out_urgency` int(11) default 0, `zor_shop_commission` int(11) default 0, `zor_has_ticket` int(11) default 0, `zversion` bigint(20) default null, `zad_org_id` bigint(20) default 27, `zad_client_id` bigint(20) default 37, `zownerid` bigint(20) default null, `zownerenam` varchar(50)default null,`zownernam` varchar(50) default null, `zcreationdate` datetime default current_timstamp, `zmodifierid` bigint(20) default null, `zmodifierenam` varchar(50) default null, `zmodifiernam` varchar(50) default null, `zmodifieddate` datetime not null default current_timstamp on update current_timstamp, `zisactive`char(1) default y, `zalipay_no` varchar(50) default null, `zbuyer_alipay_no` varchar(50) default null, `zab_d_shop_seller_nick` varchar(100) default null, `zor_force` bigint(20) default 2, `zor_overfive` bigint(20) default 0, `zor_exchange_no_in` bigint(20) default 0, `zor_multi_pack` bigint(20) default 0, `zmakeup_fail_num`bigint(20) default 0, `zlock_stat` int(11) default null, `zpos_bill_id` bigint(20) default null, `zamt_plat_discount` decimal(18,4) default null, `zforce_send_fail_reason` varchar(200) default null, `zprice_label` varchar(200) default null, `zstatus_pay_step` varchar(200) default null, `zab_d_label_enam` varchar(50)default null,`zab_d_label_content` varchar(500) default null, `zinv_stat` int(11) default null, `ztest_inv_notice_id` mediumtext default null, `zscalping_type` int(11) default null, `zpresale_deposit_tim` datetime default null, `zab_d_label_id` bigint(20) default null, `zsg_b_out_bill_no` varchar(20) default null, `zout_type`int(1) default null, `zcainiao_wh_stat` varchar(50) default null, `zpay_stat` int(10) default null, `zpltfm_stat` varchar(30) default null, `zdlvytime` datetime default null, `zexpected_dlvytime` datetime default null, `zdlvy_method` varchar(50) default null, `zlabel_tim` varchar(100) default null, `zrefund_stat` int(10)default null,`zcancel_stat` varchar(50) default null, `zred_enveloper` decimal(10,0) default null, `zinternal_memo` varchar(50) default null, `zrefund_fee` decimal(18,4) default null, `zorder_weight` decimal(18,4) default null, `zorder_gross` decimal(18,4) default null, `zsingle_quantity` decimal(18,4) default null, `zsingle_number` decimal(18,4) default null, `zwms_bill_no` varchar(100) default null, `zreissue_note` varchar(50) default null, `ztarget_cod` varchar(50) default null, `zaudit_failed_type` int(10) default 0, `zor_o2o_order` int(10) default null, `zpresell_type` int(10) default null, `zpresell_way` int(10) default null, `zcopy_reason` varchar(64) default null, `zlive_platform` varchar(5) default null, `zlive_flag` int(11) default null, `zanchor_id` varchar(30) default null, `zanchor_nam` varchar(64) default null, `zor_out_stock_split` int(10) default null, `zor_dlvy_urgent` tinyint(1) default 0, `zcopy_num` int(11) default 0, `zor_lose_copy_order`int(11) default 0, `zor_copy_order` tinyint(1) default 0, `zor_reset_ship` tinyint(1) default 0, `zor_modified_order` tinyint(1) default 0, `zvip_workflow_sn` varchar(50) default null, `zor_vip_update_wrhs` int(2) default null, `zdispute_id` bigint(20) default null, `zhold_release_tim` datetime default null, `zor_history` char(1) default n, `zqty_split` bigint(20) default 0, `zor_prom_order` tinyint(1) default 0, `zor_real_lackstock` tinyint(1) default 0, `zor_extra` int(11) default 0, `zor_same_city_purchase` int(11) default 0, `zstore_dlvy_stat` int(11) default null, `zdlvy_store_id` bigint(20) default null, `zdlvy_store_cod` varchar(100)default null,`zdlvy_store_nam` varchar(150) default null, `zoffline_order_cod` varchar(100) default null, `zpos_orderno` varchar(10) default null, `zor_spilt_sku_style` int(11) default 0, `zmerge_error_num` int(11) default null, `zto_sap_stat` tinyint(1) default 0, `zsplit_stat` int(11) default 0, `zsplit_reason` int(11) default 0, `zr_bigint01` bigint(20) default null, `zr_bigint02` bigint(20) default null, `zr_bigint03` bigint(20) default null, `zr_bigint04` bigint(20) default null, `zr_bigint05` bigint(20) default 0, `zr_decimal01` decimal(18,4) default null, `zr_decimal02` decimal(18,4) default null, `zr_decimal03` decimal(18,4) default null, `zr_decimal04` decimal(18,4) default null, `zr_decimal05` decimal(18,4) default null, `zr_varchar01` varchar(20) default null, `zr_varchar02` varchar(20) default null, `zr_varchar03` varchar(50) default null, `zr_varchar04` varchar(50) default null, `zaudit_failed_reason` varchar(100) default null, `zreverse_audit_type` varchar(100) default null, `zr_varchar05` varchar(50) default null, `zwms_cancel_number` int(10) unsigned default 0, `zr_audit_tag` varchar(20) default null, `zor_to_sap` int(2) default 1, `zorder_ecypt_cod` varchar(50) default null, `zac_f_manage_id` bigint(20) default null, `zac_f_manage_ecod` varchar(50) default null, `zac_f_manage_enam` varchar(50) default null, `zcooperate_id` bigint(20) default null, `zcooperate_ecod` varchar(50) default null, `zcooperate_enam` varchar(

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:探讨数据库开源力量 基础软件改变世界
下一篇:搭建TiDB负载均衡环境 HAproxy+KeepAlived实践篇
相关文章