PostgreSQL逻辑复制解密原理解析

***逻辑复制解密原理解析

在数字化时代的今天，我们都认同数据会创造价值。为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。而在这纵横交错的数据网络中，逻辑复制扮演着及其重要的角色。让我们将视角从复杂的网络拉回其中的一个端点，从***出发，对其逻辑复制的原理进行解密。

在数字化时代的今天，我们都认同数据会创造价值。为了最大化数据的价值，我们不停的建立着数据迁移的管道，从同构到异构，从关系型到非关系型，从云下到云上，从数仓到数据湖，试图在各种场景挖掘数据的价值。而在这纵横交错的数据网络中，逻辑复制扮演着及其重要的角色。

让我们将视角从复杂的网络拉回其中的一个端点，从***出发，对其逻辑复制的原理进行解密。

1 概念与原理

逻辑复制，是基于复制标识复制数据及其变化的一种方法。区别于物理复制对页面操作的描述，逻辑复制是对事务及数据元组的一种描述。

图-WAL数据流示例

如图所示，物理复制的数据流是对tablespace/database/filenode文件的块进行操作，而逻辑复制的内容是对元组进行描述。

接下来我们来看逻辑复制中的几个概念：

复制槽

复制槽是记录复制状态的一组信息。由于WAL（预写式日志）文件在数据真正落盘后会删除，复制槽会防止过早清理逻辑复制解析所需的WAL日志。在逻辑复制中，每个插槽从单个数据库流式传输一系列更改，创建复制槽需要指定其使用的输出插件，同时创建复制槽时会提供一个快照。

输出插件

输出插件负责将WAL日志解码为可读的格式，常用的插件用test_decoding(多用来测试)，pgoutput（默认使用），wal2json（输出为json）。***定义了一系列回调函数，我们除了使用上述插件，可以通过回调函数编写自己的输出插件。

图-复制槽数据流

复制协议与消息

通过复制协议，我们可以从源端获取WAL数据流。例如通过PSQL工具建议复制连接

psql "dbname=postgres replication=database"

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。