TiDB在智能制造领域的实际应用与优化探究

导读

从蒸汽机时代到电气时代再到信息时代，背后的制造工厂都有显著的变化，从早期的英国、德国手工打造蒸汽机到风靡一时的福特流水生产线，再到大规模的集成自动化设备投入使用，每一个时代都有与其特点相对应的制造工厂。如今随着从信息时代迈向智能时代，全球制造业正在经历工业 4.0 的变革，大量工厂要接受数字化转型的洗礼，追求智能工厂的精益求精。

随着智能制造成为制造企业的重点，如何快速打通数据通路将成为企业转型成功的关键要素。文章通过案例解析，展示了 TiDB 在智能制造的各个数据流动环节中都可以发挥其独特的价值，包括数据获取、集成和应用展示等。随着 TiDB 整体产品形态不断丰富和完善，TiDB 在智能制造行业将会发挥出更大的价值。

智能制造以数据流动为根本

在工业 4.0 时代，需要智能工厂、销售企业和消费者多方协同配合来满足市场需求。其中，对于高端制造企业而言，整个智慧工厂要用数字化、系统化和自动化来取代人工流水线操作，通过更加科学合理的生产流程、更加精准的加工工艺以及智能供应链保证持续稳定的产能，提供单条产线加工多种产品的能力来降低整体生产成本。企业销售侧，则需对产品使用过程中上报的数据和用户行为、用户反馈等数据进行收集、加工和分析，来对产品进行升级迭代、更好优化用户体验、提升用户黏性，同时也能更准确预估市场需求，帮助企业做出合理的经营策略。

这种多方协同配合最终会形成一个如下图所示的相互关联、相互驱动的飞轮。而让飞轮持续高效运转的关键是让智能制造各个环节的数据流动起来。可以说，智能制造是以数据流动为根本，通过应用智能技术如工业互联网、云计算和人工智能等来解决研发、生产和运营等环节的痛点与难点，从而实现智能研发和生产，为客户提供智能产品和智能服务。

智能制造行业数据架构的挑战

在理想的情况下，制造企业整体数据的流动应该包含了数据获取、数据集成和数据应用三大模块。以数据获取模块为例，数据获取的来源主要包含两方面：（1）物联网的信息接入层。接入层包含了制造过程中的数据，涉及装备、物料、产品加工过程的工况状况参数以及远程设备上报的信号数据，其特点是数据种类多，比如包含键值对 、视频、图片、文本等数据类型；（2）企业的管理控制类系统。比较常见的有企业资源管理系统 ERP、产品生命周期管理系统 PLM ，以及供应链管理系统 SRM 等。这些系统涉及企业从设计、研发、生产、销售、物流、客户运营等各方面的数据。其数据特点是基本以结构化关系型数据为主。

但在现实的情况下，数据流动过程当中的获取、集成和应用都会存在各种挑战。主要体现在三个方面：

• 第一，在数据获取层面，接入层数据种类多，海量数据的存储容量挑战大，传统的单机数据库难以应对海量数据的增长；

• 第二，在数据集成层面，智能制造企业通常内部会有众多的管理控制类系统，系统间的关联性较差，容易形成数据孤岛，缺少统一的数据中台底座；

• 第三，在数据应用层面，企业的运营决策报表、实时 BI 报表对于数据分析的实时性要求越来越高，传统的 T+1 模式不能够满足实时性需求。

面对以上挑战，传统的数据库解决方案主要有：

• 垂直扩容：在物理机层面通过垂直扩容 CPU 、内存和磁盘来缓解问题，但该方案治标不治本，无法从根本上解决问题；

• 分库分表：通常使用分库分表中间件实现，但该方案也会带来一系列问题，比如缺乏弹性扩容能力、对业务有侵入性，以及对于复杂关联查询支持不够友好等；

• 增加只读节点：只能有限地提升读取能力，数据写入压力依然落在主节点上，且传统的主备架构会存在数据同步延迟、主从切换维护复杂等问题。

新一代分布式云原生数据库 TiDB 可以从根本上解决上面所提到的一些问题。TiDB 支持一键水平扩缩容和分布式事务，单集群数据存储容量可达数百 TB 规模，并拥有实时 HTAP 能力。借助 TiDB 这些特性，智能制造企业可有效应对数据获取、数据集成和数据应用等数据流动环节所面临的挑战。

TiDB 支撑制造业数据获取的场景

在数据获取层面，对于大型智造企业的信息管理类系统而言，TiDB 弹性水平扩展能力可有效解决单机数据库在计算存储资源不足时无法快速扩展的问题。而在很多中小型智造企业中，企业信息管理系统的数据通常存储在多种单机数据库中，单个数据库容量相对较小，难以充分利用硬件资源，同时维护多套数据库也增加了运维成本。此时可借助 TiDB 多业务融合能力（Placement rule in SQL），将多个管理系统数据融合在一套 TiDB 集群中，从而统一技术栈，降低硬件和运维成本。

此外，TiKV 可以独立于 TiDB，与 PD 构成 KV 数据库（此时产品形态为 RawKV）。RawKV 可以绕过事务处理层，提供更高的写入性能和更短的 Latency，具备 Time-To-Live 功能，自动清理不需要长期存储的数据。相较于 TiDB 部署形态， RawKV 更加适合高频写入的物联网接入层场景，比如用于存储物联设备上报的信号数据。

TiDB 支撑制造业数据集成/展示的场景

在数据集成和应用层面，智能制造企业同样可以运用 TiDB 灵活的水平扩展能力，通过将多源数据统一汇聚，打破数据壁垒，解决数据孤岛问题，为智造企业提供融合统一的数据中台底座（比如实时数仓、财务中台等）。同时借助 TiDB 的实时分析能力，帮助企业更加快速准确地在工厂智造、产品营销等方面做出经营决策。

另外，TiDB 6.0 正式推出的数据放置框架（ Placement rule in SQL 功能），可以在同一套集群实现海量数据的冷热存储，即将新的热数据存入 ***，历史冷数据存入 HDD。该功能在智造企业的数据中台类应用场景非常适用，可自动归档中台历史数据，大幅度降低使用 TiDB 的硬件成本和运维管理成本。

以上我们按照数据分层的结构，分别介绍了 TiDB 在智能制造数据集成、数据集成和应用展示可以支撑的业务场景，下面将通过三个具体用户案例来做进一步的说明。

用户案例

涂鸦智能——设备信息上报存储

涂鸦智能是一个全球化 loT 开发平台，基于全球公有云，实现智慧场景和智能设备的互联互通，提供从技术到营销渠道的全面赋能。目前，涂鸦在国内外已有超过十万家合作伙伴，生态客户数量达到 32 万+。

在涂鸦智能设备信息上报存储场景中，其将智能设备的各种定时触发信息上报至涂鸦 Zeus 平台，这种方式的特点是数据量巨大，响应时间要求非常低。涂鸦早期采用 Aurora 方案，但很快就出现了无法支撑物联网设备数据暴涨的问题，即使采用分库分表也很难满足业务快速增长的需求。此后涂鸦智能又尝试使用 Apache Ignite 的方式，虽然解决了部分扩容问题，但又面临着 Apache Ignite 在扩容时需停机的挑战，而在物联网的业务场景中，很难提供停机维护窗口。

为解决当前业务面临的痛点，涂鸦团队在市面上调研和测试一系列产品后最终选择了 RawKV ，而业务上线后也获得了诸多收益：

• 通过 TiDB 一键线性扩展可以支撑涂鸦智能业务数据的暴涨，且满足零停机时间要求。

• 在 RawKV 集群上线后 TPS 可以轻松突破 20 万，P99 时延在最低时可低于 1ms。

• 出于节省硬件成本的考虑，后期将 RawKV 集群从 x86 架构换成 ARM 架构，整体硬件成本降低到原本四分之一。

某智能手机制造商——供应链系统

该智能手机制造商会通过定时微批的模式实时监控整个产品生产物料和产能数据的匹配情况，由于系统和整体产线高度关联，该供应链系统需要保证 7×24 可用。最初该智能手机制造商采用的数据库架构是 PG 集群主备模式，但很快就遇到两个问题：1、单机集群模式很难支撑未来的数据增长；2、随着数据的增长，定时跑批任务耗时越来越长，让业务方难以忍受，同时会对集群内的在线业务有明显影响。

目前，该制智能手机造商使用 TiDB 整体替换了原来的 PG 主备架构，在业务上获得以下收益：

• 通过 TiDB 的 HTAP 能力使得整套业务系统具备实时数据分析能力。

• 缩短整个生产物料供应的时间周期，整个 SQL 查询任务的运行时间从原来架构的 30 分钟缩短到 10 分钟。

• TiDB 能够有效支持大规模数据写入，单表存储可以达到百亿级别以上，轻松地支持系统每日数亿的数据增量，并在该数据规模下也能满足复杂查询的性能要求。

某高科技汽车的制造厂商——实时决策

该车企以用户为中心，立足 DTC 战略，将实时决策平台作为最主要的战略洞察平台，主要供两类人员使用：

• 面对 C-Level 提供全新实时业务决策能力；

• 面向门店经理、销售等业务方提供实时报表分析能力。

该车企原架构采用 ETL+Hive 实现 T+1 数据汇聚，再通过 Spark 、MR 夜间跑批，将结果写入 MySQL 供外部查询，明细数据会通过汇聚库来对外提供查询。原架构在改造前面临着如下痛点：1、整体技术架构复杂，运维开发成本高；2、原有汇聚数据库已经无法承载日益增长的数据量；3、明细数据和报表数据存在时间差，数据的准确性很难得到保证。

该车企经过各方调研和测试后，最终采用了 TiDB 分布式数据库方案，并获得了如下收益：

• 通过 DM 及 CDC 工具将销售订单支付、智能工厂、车库系统、智能算法等高价值的业务数据统一汇聚写入到 TiDB 中，将整体技术栈统一收敛到 TiDB 中，简化开发运维，使用标准 SQL 即可完成复杂的 AP 查询需求。

• 该车企还借助于 TiDB TP 和 AP 的数据实时强一致同步，有效保障了业务实时统计分析数据和明细数据间的一致性。在将业务迁移至 TiDB 后整体性能也得到了 10 倍提升。

• 基于 TiDB 的 HTAP 能力，该车企打造出一套全新的实时业务决策系统，帮助企业管理层快速做出准确决策，在瞬息万变的市场中赢得商机。

总结

如今，智能制造正成为世界经济全球化背景下制造企业的重点，传统制造企业纷纷在寻求转型为智造企业的方法，如何快速打通制造企业在数据获取、集成和应用展示的数据通路将成为企业转型成功的关键要素。

而通过上面的案例解析，我们可以清晰地看到 TiDB 在智能制造的各个数据流动环节中都可以发挥其独特的价值，而随着 TiDB 整体产品形态不断丰富和完善（比如 TiDB Cloud Serverless），我们有理由相信 TiDB 将会在智能制造行业发挥出更大的价值，助力越来越多的制造企业迈向全新的智造时代！

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。