在 Kubernetes 上运行 Pgpool-Il 实现 PostgreSQL 查询(读)负载均衡和连接池

网友投稿 984 2023-06-13

在 Kubernetes 上运行 Pgpool-Il 实现 *** 查询(读)负载均衡和连接池

在 Kubernetes 上运行 Pgpool-Il 实现 *** 查询(读)负载均衡和连接池

介绍

因为 *** 是一个有状态的应用程序,并且管理 *** 有非常具体的要求(例如备份、恢复、自动故障转移等),Kubernetes 的内置功能无法处理这些任务。因此,需要一个扩展 Kubernetes 功能以创建和管理 *** 的 Operator。

*** operator 有好几种,比如 Crunchy *** Operator、Zalando *** Operator 和 KubeDB。但是,这些 operator 不提供查询负载均衡功能。

Crunchy *** Operator

Zalando *** Operator

KubeDB

结合 *** Operator 和 Pgpool-II 在 Kubernetes 上部署具有查询负载均衡和连接池能力的 *** 集群。Pgpool-II 可以与上面提到的任何 *** Operator 结合使用。

架构

前提条件

在开始配置过程之前,请检查以下前提条件。

确保你有一个 Kubernetes 集群,并且安装了 kubectl。*** Operator 和 *** cluster 已安装。

部署 Pgpool-II

Kubernetes 不需要 Pgpool-II 的健康检查、自动故障转移、watchdog 和在线恢复功能。您只需要启用负载平衡和连接池。

Pgpool-II pod 应该使用以下最低配置:

backend_hostname0 = ''backend_hostname1 = ''backend_port0 = '5432'backend_port1 = '5432'backend_flag0 = 'ALWAYS_PRIMARY|DISALLOW_TO_FAILOVER'backend_flag1 = 'DISALLOW_TO_FAILOVER'failover_on_backend_error = offsr_check_period = 10 (when using streaming replication check)sr_check_user='username of *** user' (when using streaming replication check)load_balance_mode = onconnection_cache = onlisten_addresses = '*'

有两种配置 Pgpool-II 的方法。

1.使用环境变量

2.使用 ConfigMap

您可能需要在生产环境中配置客户端身份验证和更多参数。在生产环境中,我们建议使用 ConfigMap 来配置 pgpool.conf 和 pool_hba.conf。

使用环境变量配置 Pgpool-II

Kubernetes 环境变量可以传递给 pod 中的容器。您可以在部署清单中定义环境变量来配置 Pgpool-II 的参数。pgpool-deploy-minimal.yaml 是一个示例清单,包括环境变量的最小设置。您可以下载 pgpool-deploy-minimal.yaml 并修改此清单中的环境变量。

以 PGPOOL_PARAMS_ 开头的环境变量可以转换为 Pgpool-II 的配置参数,这些值可以覆盖默认设置。

在 Kubernetes 上,您只需要指定两个后端节点。根据您的 *** 集群信息更新 pgpool-deploy-minimal.yaml。将主服务名称指定为 backend_hostname0。将副本服务名称指定为 backend_hostname1。因为故障转移由 Kubernetes 管理,所以将 DISALLOW_TO_FAILOVER 标志指定给两个节点的 backend_flag,并将 ALWAYS_PRIMARY 标志指定给 backend_flag0。 backend_data_directory 的设置不是必需的。

backend_hostname

backend_flag

backend_data_directory

例如,清单中定义的以下环境变量,

env:- name: PGPOOL_PARAMS_BACKEND_HOSTNAME0 value: "mypostgres"- name: PGPOOL_PARAMS_BACKEND_HOSTNAME1 value: "mypostgres-replica"- name: PGPOOL_PARAMS_BACKEND_FLAG0 value: "ALWAYS_PRIMARY|DISALLOW_TO_FAILOVER"- name: PGPOOL_PARAMS_BACKEND_FLAG1 value: "DISALLOW_TO_FAILOVER"

将在 pgpool.conf 中转换为以下配置参数。

backend_hostname0 = 'mypostgres'backend_hostname1 = 'mypostgres-replica'backend_flag0 = 'ALWAYS_PRIMARY|DISALLOW_TO_FAILOVER'backend_flag1 = 'DISALLOW_TO_FAILOVER'

然后,您需要定义包含 *** 用户的用户名和密码的环境变量,用于客户端身份验证。

配置清单后,运行以下命令部署 Pgpool-II。

kubectl apply -f pgpool-deploy-minimal.yaml

使用 ConfigMap 配置 Pgpool-II

或者,您可以使用 Kubernetes ConfigMap 来存储整个 pgpool.conf 和 pool_hba.conf。ConfigMap 可以作为卷挂载到 Pgpool-II 的容器中。

您可以从以下存储库下载定义 ConfigMap 和 Deployment 的示例清单文件。

pgpool2_on_k8s

定义 ConfigMap 的清单采用以下格式。您可以根据您的配置偏好对其进行更新。要使用 pool_hba.conf 进行客户端身份验证,您需要打开 enable_pool_hba。默认为关闭。

enable_pool_hba

apiVersion: v1kind: ConfigMapmetadata: name: pgpool-config labels: name: pgpool-configdata: pgpool.conf: |- listen_addresses = '*' port = 9999 socket_dir = '/var/run/pgpool' pcp_listen_addresses = '*' pcp_port = 9898 pcp_socket_dir = '/var/run/pgpool' backend_hostname0 = 'postgres'... pool_hba.conf: |- local all all trust host all all 127.0.0.1/32 trust host all all ::1/128 trust hostssl all all 0.0.0.0/0

然后,您需要定义包含 *** 用户的用户名和密码的环境变量,用于客户端身份验证。

运行以下命令创建 ConfigMap 并部署引用此 ConfigMap 的 Pgpool-II pod。

kubectl apply -f pgpool-configmap.yamlkubectl apply -f pgpool-deploy.yaml

部署 Pgpool-II 后,您可以使用 kubectl get pod 和 kubectl get svc 命令查看 Pgpool-II pod 和服务。

Pgpool-II 配置

后端设置

在 Kubernetes 上,您只需要指定两个后端节点。指定主服务名称为 backend_hostname0,副本服务名称为 ackend_hostname1。

backend_hostname0 = ''backend_hostname1 = ''backend_port0 = '5432'backend_port1 = '5432'

自动故障转移

Pgpool-II 能够定期连接到已配置的 *** 后端并检查 *** 的状态。如果检测到错误,Pgpool-II 将触发故障转移。在 Kubernetes 上,Kubernetes 会监控 *** 的 Pod,如果一个 Pod 宕机,Kubernetes 会重启一个新的 Pod。您需要禁用 Pgpool-II 的自动故障转移,因为 Kubernetes 不需要 Pgpool-II 的自动故障转移。

将 *** node 0 指定为主节点 (ALWAYS_PRIMARY),因为即使主节点或副本 pod 扩展、重新启动或发生故障转移,服务名称也不会更改。

backend_flag0 ='ALWAYS_PRIMARY|DISALLOW_TO_FAILOVER'backend_flag1 ='DISALLOW_TO_FAILOVER'failover_on_backend_error = off

将密码注册到 pool_passwd

Pgpool-II 使用包含 *** 用户密码的 pool_passwd 文件执行身份验证。

pool_passwd

在 Pgpool-II pod 启动时,Pgpool-II 自动执行 pg_md5 命令,根据 _USERNAME 和 _PASSWORD 格式定义的环境变量生成 pool_passwd。

pg_md5

代表 *** 用户的用户名和密码的环境变量必须按以下格式定义:

username: _USERNAMEpassword: _PASSWORD

使用 Secret 定义环境变量是保证用户凭据安全的推荐方法。在大多数 *** Operators 中,创建 *** 集群时会自动创建几个定义 *** 用户凭据的 Secret。使用 kubectl get secret 命令检查现有的 Secret。

例如,创建 mypostgres-postgres-secret 来存储 postgres 用户的用户名和密码。要引用这个 secret,您可以定义如下环境变量:

env:- name: POSTGRES_USERNAME valueFrom: secretKeyRef: name: mypostgres-postgres-secret key: username- name: POSTGRES_PASSWORD valueFrom: secretKeyRef: name: mypostgres-postgres-secret key: password

启动 Pgpool-II pod 时,会在 /opt/pgpool-II/etc 下自动生成 pool_passwd 和 pcp.conf。

$ kubectl exec -it -- cat /opt/pgpool-II/etc/pool_passwdpostgres:md53175bce1d3201d16594cebf9d7eb3f9d$ kubectl exec -it -- cat /opt/pgpool-II/etc/pcp.confpostgres:e8a48653851e28c69d0506508fb27fc5

流复制检查

Pgpool-II 能够定期连接到已配置的 *** 后端并检查复制延迟。要使用此功能,需要 sr_check_user 和 sr_check_password。如果 sr_check_password 留空,Pgpool-II 将尝试从 pool_passwd 获取 sr_check_user 的密码。

sr_check_user

sr_check_password

下面是一个使用 postgres 用户每隔 10 秒连接到 *** 以执行流式复制检查的示例。因为 sr_check_password 留空,所以 Pgpool-II 会从 pool_passwd 中获取 postgres 用户的密码。

sr_check_period = 10sr_check_user='postgres'

创建 secret 存储 sr_check_user 中指定的 *** 用户的用户名和密码,并配置环境变量以引用创建的 Secret。在大多数 *** Operators 中,创建 *** 集群时会自动创建几个定义 *** 用户凭据的 secret。使用 kubectl get secret 命令检查现有的 secret。

例如,下面的环境变量引用了 Secret mypostgres-postgres-secret。

env:- name: POSTGRES_USERNAME valueFrom: secretKeyRef: name: mypostgres-postgres-secret key: username- name: POSTGRES_PASSWORD valueFrom: secretKeyRef: name: mypostgres-postgres-secret key: password

但是,在 Kubernetes 上,Pgpool-II 连接到任何副本,而不是连接到所有副本。即使有多个副本,Pgpool-II 也将它们作为一个副本进行管理。因此,Pgpool-II 可能无法正确确定复制延迟。要禁用此功能,请配置以下参数:

sr_check_period = 0

SSL 设置

打开 ssl 以启用 SSL 连接。

ssl = on

当 ssl = on 时,在 Pgpool-II 启动时,会在 /opt/pgpool-II/certs/ 下自动生成私钥文件和证书文件。 ssl_key 和 ssl_cert 会自动配置私钥文件和证书文件的路径。

此外,要仅允许 SSL 连接,请将以下记录添加到 pool_hba.conf 中。

hostssl all all 0.0.0.0/0 md5

带监控的 Pgpool-II

Pgpool-II Exporter 是 Pgpool-II 指标的 Prometheus 导出器。

Pgpool-II Exporter

示例清单 pgpool-deploy-metrics.yaml 用于在 Pgpool-II Pod 中部署 Pgpool-II 容器和 Pgpool-II Exporter 容器。

spec: containers: - name: pgpool image: pgpool/pgpool ... - name: pgpool-stats image: pgpool/pgpool2_exporter ...

下载示例清单 pgpool-deploy-metrics.yaml。

然后,配置 Pgpool-II 和 Pgpool-II Exporter。以下是 Pgpool-II Exporter 容器中用于连接 Pgpool-II 的环境变量的设置。

env:- name: POSTGRES_USERNAME valueFrom: secretKeyRef: name: mypostgres-postgres-secret key: username- name: POSTGRES_PASSWORD valueFrom: secretKeyRef: name: mypostgres-postgres-secret key: password- name: PGPOOL_SERVICE value: "localhost"- name: PGPOOL_SERVICE_PORT value: "9999"

配置 Pgpool-II 和 Pgpool-II Exporter 后,部署 Pgpool-II Pod。

kubectl apply -f pgpool-configmap.yamlkubectl apply -f pgpool-deploy-metrics.yaml

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:千万级用户系统的SQL调优实战
下一篇:服务器数据备份的几种方式,容错服务器和普通服务器的区别是什么
相关文章