全球化浪潮下的数据库革新：嘉里物流 TiDB 实践价值的设想

作者：肖飞

2024-08-06

导读

本文来自 TiDB 社区武汉站——嘉里物流架构团队负责人肖飞老师的演讲《嘉里物流 & TiDB 在全球化业务场景中应用设想》。本次分享探讨了嘉里物流在全球化扩展中，将如何通过 TiDB 的强大功能应对海量数据挑战，优化技术架构，并提升决策支持能力。

嘉里物流计划通过 TiDB 的分布式架构实现全球化数据处理，提高数据处理效率和安全合规性。TiDB 的弹性伸缩能力帮助公司有效管理业务复杂性，并通过实时数据处理和分析，提供了更强大的决策支持。此外，肖飞老师还介绍了引入 TiDB 后嘉里物流可以实现的技术环境简化和运营服务优化，展示了 TiDB 在提升业务效率和数据管理方面的显著优势。

引言

嘉里物流，作为嘉里物流联网有限公司的主要品牌，以其多元化的业务和强大的亚洲网络覆盖，提供了综合物流、国际货代、电子商贸、工业物流以及基建投资等一系列供应链解决方案。2023 年的财务报告显示，嘉里物流在全球 60 个国家拥有业务，其综合物流和国际货运的收入分别达到了 47,408 百万和 12,951 百万港元。

在技术不断演进的今天，分布式数据库 TiDB 正逐渐成为支撑全球化业务的关键力量，嘉里物流也开始重新思考数据架构的革新，应对全球化和增长的挑战。

业务背景与挑战

随着业务的全球化扩展，嘉里物流面临着海量数据管理、不同国家安全因素以及技术体系复杂性的挑战。这些挑战要求公司必须采用更为灵活和高效的技术解决方案来适应不同市场的运营要求。

应用场景设想

嘉里物流的业务覆盖全球 60 个国家，其业务模式端到端，链路超长，并且具有高度的弹性能力，以适应不同市场的运营要求。面对海量数据的挑战，TiDB 的应用场景主要体现在以下几个方面：

1. 全球化数据处理：TiDB 的分布式架构允许嘉里物流在不同地区部署集群，实现数据的本地化处理和全球加速服务。这种设计不仅降低了跨国数据传输的延迟，也提高了数据处理的效率。

2. 业务复杂性管理：由于业务的复杂性，嘉里物流需要一个能够处理多样化业务场景的数据库。TiDB 的弹性伸缩能力使得数据库能够根据业务需求动态调整资源，有效应对业务高峰期的数据压力。

3. 安全与合规性：在全球化的业务环境中，不同国家的安全合规性要求不同。TiDB 的多租户架构和细粒度的安全控制，帮助嘉里物流满足不同地区的合规要求。

技术架构设想

嘉里物流的技术架构目前的现状是十分复杂的，引入 TiDB 能起到简化的作用，具体来讲有以下几个收益：

1. 环境简化：初始阶段，嘉里物流的技术环境非常复杂，涉及多种数据库和应用系统，这导致了集成和维护的高成本。

2. 集成方案的优化：TiDB 的引入能够有效的简化其技术架构和技术组件，TiDB 集群的部署使得数据管理更加集中化，减少了对多种数据库的依赖。

3. 技术体系的简化：统一的数据平台减少了技术栈的复杂性，使得技术团队能够更专注于业务创新而非技术维护。

核心价值设想

架构的优化的最终都将作用于业务运营的效率提升，实现企业的数字化转型，引入 TiDB 的核心价值主要体现在以下几点：

1. 运营服务优化：通过 TiDB 海量数据的处理能力，能够实现轻量级的汇聚计算，提高了运营服务的效率。这种实时数据处理能力，为业务用户提供了快速响应市场变化的能力。

2. 决策支持强化：通过其先进的大数据解决方案，实现了更深入的数据挖掘和分析能力。这种集成化的数据处理不仅为决策者提供了全面的业务视图，而且通过高效的数据聚合和实时分析，帮助他们做出更加数据驱动的决策。

3. 实时看板与维度钻取：利用 TiDB HTAP 的技术能力满足实时看板的数据快速获取，使得内部用户能够实时监控关键业务指标。同时，维度钻取功能使得用户能够深入分析数据，发现潜在的业务机会和风险。

通过 TiDB 的应用，从业务侧能够通过轻量级汇聚计算来支持实时看板，业务的视角能够更加直观的观测到运营数据的变化，辅助运营团队有效的调整策略；利用不同维度的钻取，从不同的视角观测运营数据，实时数据的加持能够保证更高的效率。

运营团队对于月度、季度、年度都会相应不同的汇总需求，并且团队分散在各个地区，会有相应不同的汇总目标，这样在数据规模和处理方式上有更加明显挑战，TiDB 通过其强大的数据处理和分析能力，帮助优化了这个核心的场景，秉承一份数据多次使用的方向和目标，使得用户能够快速获取关键业务运营指标，进行深入的数据探索和分析，从而显著提升了运营的效率和准确性。

运营服务和财务服务在企业中普遍状态是分离的，因为业务形态的不一致，一面是业务运营的诉求，一面是财务管理的诉求，在数据层面会有较大的差异。若不能有效的实现数据对齐，则无法满足管理层的决策需求。第一步需要利用 TiCDC 的技术能够快速持续的集成运营数据，打通业务层面的数据持续汇聚的问题；财务服务也有一样的数据同步场景需求，完成了初步的数据同步汇聚后，在通过 ETL 或者 NoETL 的方式对数据进行处理，达成数据的对齐，实现决策业务指标和财务指标的构建，并逐步满足决策驾驶舱、运营财务对照、周期数据汇总等核心诉求。

提升方向与社区回馈

TiDB 的另一个核心优势就是优异的社区生态。TiDB AskTUG 社区是全球化组织，持续汇聚各个行业的实践案例和应用方向。

从社区的业务知识和技术知识中可获知市场变化的方向，洞察市场变化会更明确企业运营策略变革的根本原因，同时也会知晓业务层面和技术层面两个方向的挑战；若将挑战分解成目标，再将各个目标拆解成场景，通过分析业务场景、现状和期望，结合行业最佳实践和应用案例，不断寻找可行的路径和适用场景，则汇聚成不同目标的场景适用方案。

通过方案的思考，在考虑 TiDB 技术应用的同时，积极参与开源社区的互动，通过社区互动式持续的学习，获取更多业务问题和技术问题（社区有很多小伙伴在分享自己的问题），总结可行的思路和方向并回馈到社区，分享不限于技术知识和业务经验，以促进整个行业的技术进步，从另一个方面帮助社区成长。

结语

随着全球化业务的不断扩展和数据量的爆炸性增长，设想以 TiDB 为技术架构和数据架构的核心，能够有效的进行数据整合，同时帮助推进应用架构和业务架构的改善和发展，收敛和逐渐合并技术栈，减少相应的学习成本和运维成本，并且能够帮助缩小各个业务线之间集成难度。TiDB 技术架构能够帮助企业实现降本增效的目标，开源社区在推动技术创新和知识共享中也将起到重要作用。

我期待 TiDB 在未来能够继续发展和完善，为更多的企业提供强大的数据管理和分析能力；同时，也期待更多的企业和开发者参与到开源社区中来，共同推动技术的创新和进步。通过不断的学习和实践，相信我们可以更好地适应快速变化的市场环境，把握新的机遇，并在全球化的浪潮中保持竞争力。