前言

HAProxy 提供 TCP 协议下的负载均衡能力，TiDB 客户端通过连接 HAProxy 提供的浮动 IP 即可对数据进行操作，实现 TiDB Server 层的负载均衡。同时，HAproxy部署2个节点，使用KeepAlived来实现高可用。

环境说明

TiDB版本：V7.1.0

haproxy版本：2.6.2

OS环境：Centos 7.9

简易架构：

此文档根据生产实际环境搭建验证后，总结输出，IP经过脱敏。

一、安装HAproxy

主备节点都安装，配置文件全部一致，没有主备之分。

参考：https://docs.pingcap.com/zh/tidb/stable/haproxy-best-practices#haproxy-%E5%9C%A8-tidb-%E4%B8%AD%E7%9A%84%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5

1、下载haproxy

wget https://www.haproxy.org/download/2.6/src/haproxy-2.6.2.tar.gz

2、编译安装HAproxy

先安装依赖包

yum -y install epel-release gcc systemd-devel

编译安装HAproxy

tar zxf haproxy-2.6.2.tar.gz cd haproxy-2.6.2 make clean make -j 8 TARGET=linux-glibc USE_THREAD=1 make PREFIX=/opt/haproxy SBINDIR=/opt/haproxy/bin install

3、配置环境变量

所有用户

echo export PATH=/opt/haproxy/bin:$PATH >> /etc/profile . /etc/profile which haproxy

4、haproxy.cfg配置文件

vim /opt/haproxy/haproxy.cfg

global # 全局配置。 log 127.0.0.1 local2 # 定义全局的 syslog 服务器，最多可以定义两个。 chroot /opt/haproxy/var/lib/haproxy # 更改当前目录并为启动进程设置超级用户权限，从而提高安全性。 pidfile /opt/haproxy/var/run/haproxy.pid # 将 HAProxy 进程的 PID 写入 pidfile。 maxconn 4096 # 单个 HAProxy 进程可接受的最大并发连接数，等价于命令行参数 "-n"。 nbthread 48 # 最大线程数。线程数的上限与 CPU 数量相同。 user tidb # 同 UID 参数。 group tidb # 同 GID 参数，建议使用专用用户组。 daemon # 让 HAProxy 以守护进程的方式工作于后台，等同于命令行参数“-D”的功能。当然，也可以在命令行中用“-db”参数将其禁用。 stats socket /opt/haproxy/var/lib/haproxy/stats # 统计信息保存位置。 defaults # 默认配置。 log global # 日志继承全局配置段的设置。 retries 2 # 向上游服务器尝试连接的最大次数，超过此值便认为后端服务器不可用。 timeout connect 2s # HAProxy 与后端服务器连接超时时间。如果在同一个局域网内，可设置成较短的时间。 timeout client 30000s # 客户端与 HAProxy 连接后，数据传输完毕，即非活动连接的超时时间。 timeout server 30000s # 服务器端非活动连接的超时时间。 listen admin_stats # frontend 和 backend 的组合体，此监控组的名称可按需进行自定义。 bind 0.0.0.0:8080 # 监听端口。 mode http # 监控运行的模式，此处为 `http` 模式。 option httplog # 开始启用记录 HTTP 请求的日志功能。 maxconn 10 # 最大并发连接数。 stats refresh 30s # 每隔 30 秒自动刷新监控页面。 stats uri /haproxy # 监控页面的 URL。 stats realm HAProxy # 监控页面的提示信息。 stats auth admin:Pingcap # 监控页面的用户和密码，可设置多个用户名。 stats hide-version # 隐藏监控页面上的 HAProxy 版本信息。 stats admin if TRUE # 手工启用或禁用后端服务器（HAProxy 1.4.9 及之后版本开始支持）。 listen tidb-cluster # 配置 database 负载均衡。 bind 192.168.1.238:4000 # 浮动 IP 和 监听端口。 mode tcp # HAProxy 要使用第 4 层的传输层。 balance leastconn # 连接数最少的服务器优先接收连接。`leastconn` 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的，对于启动慢的服务器，服务器权重会在运行中作调整。 server tidb-192.168.1.217:4000 192.168.1.217:4000 check inter 2000 rise 2 fall 3 # 检测 4000 端口，检测频率为每 2000 毫秒一次。如果 2 次检测为成功，则认为服务器可用；如果 3 次检测为失败，则认为服务器不可用。 server tidb-192.168.1.237:4000 192.168.1.237:4000 check inter 2000 rise 2 fall 3

5、创建配置文件里面使用到的目录

mkdir -p /opt/haproxy/var/lib/haproxy/ mkdir -p /opt/haproxy/var/run

6、修改系统参数

一定要记得sysctl -p生效

echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.conf echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf sysctl -p

7、启动HAproxy

haproxy -f /opt/haproxy/haproxy.cfg

8、访问HAProxy监控页面

密码见配置文件auth部分配置。

http://192.168.1.214:8080/haproxy

http://192.168.1.215:8080/haproxy

二、keepalived安装、配置

前面已经安装了HAproxy，并且启动。但是VIP并不会自动给你挂上。HAproxy进程挂了也不会给你拉起来，HA也不能做主备切换。这时候就该KP登场拉。

1、安装keepalived

直接yum安装，省时省力。

yum -y install keepalived

2、主节点kp配置文件

vim /etc/keepalived/keepalived.conf

global_defs { router_id haproxy1 # 虚拟路由名称 script_user root enable_script_security } # HAProxy健康检查配置 vrrp_script chk_haproxy { script "/etc/keepalived/chk_haproxy.sh" # 使用killall -0检查haproxy实例是否存在，性能高于ps命令 interval 5 # 脚本运行周期，秒 } # 虚拟路由配置 vrrp_instance VI_cubc_his { state MASTER # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP interface eth0 # 本机网卡名称，使用ifconfig命令查看 virtual_router_id 238 # 虚拟路由编号，主备机保持一致 priority 101 # 本机初始权重，备机请填写小于主机的值（例如99） advert_int 1 # 争抢虚地址的周期，秒 authentication { auth_type PASS auth_pass 4gjfethTonUY7kXU # 认证类型和密码主备一样，要不然无法互相认证 } virtual_ipaddress { 192.168.1.238 # 虚地址IP，主备机保持一致 } track_script { chk_haproxy # 对应的健康检查配置 } }

3、备节点kp配置文件

vim /etc/keepalived/keepalived.conf

global_defs { router_id haproxy2 # 虚拟路由名称 script_user root enable_script_security } # HAProxy健康检查配置 vrrp_script chk_haproxy { script "/etc/keepalived/chk_haproxy.sh" # 使用killall -0检查haproxy实例是否存在，性能高于ps命令 interval 5 # 脚本运行周期，秒 } # 虚拟路由配置 vrrp_instance VI_cubc_his { state BACKUP # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP interface eth0 # 本机网卡名称，使用ifconfig命令查看 virtual_router_id 238 # 虚拟路由编号，主备机保持一致 priority 99 # 本机初始权重，备机请填写小于主机的值（例如99） advert_int 1 # 争抢虚地址的周期，秒 authentication { auth_type PASS auth_pass 4gjfethTonUY7kXU # 认证类型和密码主备一样，要不然无法互相认证 } virtual_ipaddress { 192.168.1.238 # 虚地址IP，主备机保持一致 } track_script { chk_haproxy # 对应的健康检查配置 } }

注意：

virtual_router_id要保持一致。

不一致的地方：router_id、priority、state

网卡名称interface根据你的实际环境来。

4、脚本检测扩展

kp自动检测haproxy是否启动，如果没有启动会自动启动，启动一次没成功就会自动关闭kp

vim /etc/keepalived/chk_haproxy.sh

#!/bin/bash A=`ps -C haproxy --no-header |wc -l` if [ $A -eq 0 ];then /opt/haproxy/bin/haproxy -f /opt/haproxy/haproxy.cfg sleep 3 if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then systemctl stop keepalived fi fi

记得修改权限

chmod 744 /etc/keepalived/chk_haproxy.sh

5、设置keepalived自动启动

如果主机重启了就不担心HAproxy不自动启动了。

systemctl list-unit-files |grep keepalived

--设置开机自动启动

systemctl enable keepalived.service

三、环境验证

1、启动备节点KP

systemctl start keepalived

验证相关进程状态和VIP

ps -ef|grep haproxy systemctl status keepalived ip a|grep inet

如果进程都在，VIP也已经挂载成功。此时可以使用VIP连接数据库拉。

2、启动主节点kp

systemctl start keepalived

验证相关进程状态和VIP

ps -ef|grep haproxy systemctl status keepalived ip a|grep inet

如果前面配置无误，此时VIP会自动漂移到主节点，因为主节点设置的priority更大。备节点的VIP会自动卸载。

3、kill haproxy测试

kill后kp会自动拉起来，如果拉不起来，kp服务也会自动停止。

所有，正常停止HAproxy，直接杀ha的进程是不行的，得手动把kp停掉。

四、测试IP透传功能

上面搭建好的HA环境，SHOW PROCESSLIST看到的客户端IP都是HAproxy节点的IP，如果要查看真实的IP，还需要做2点配置。

1、修改HAproxy的配置文件

如要通过 SHOW PROCESSLIST 查看连接来源 IP，需要配置使用 PROXY 协议连接 TiDB。

tidb配置那行添加 check port 10080 send-proxy

注意：这里把检测端口换成了10080，不是4000，不然tidb会一直刷write: connection reset by peer

server tidb-192.168.1.217:4000 192.168.1.237:4000 check port 10080 send-proxy inter 2000 rise 2 fall 3 server tidb-192.168.1.237:4000 192.168.1.237:4000 check port 10080 send-proxy inter 2000 rise 2 fall 3

2、修改tidb集群参数

使用 PROXY 协议时，你需要在 tidb-server 的配置文件中设置 proxy-protocol.networks。

tiup cluster edit-config tidb-test

添加proxy-protocol.networks参数，里面配置的IP为HAproxy节点IP。

server_configs: tidb: proxy-protocol.networks: 192.168.1.214,192.168.1.215

重启tidb节点

tiup cluster reload tidb-test -R tidb

3、使用VIP连接tidb验证

使用VIP连接tidb，show processlist验证IP，测试可以看到真实IP拉。

mysql -h192.168.1.238 -P4000 -uroot -p -A

常见报错：

ERROR 2013 (HY000): Lost connection to MySQL server at reading authorization packet, system error: 0 ERROR 2013 (HY000): Lost connection to MySQL server at reading initial communication packet, system error: 0

五、常见报错、参考文档

1、HAproxy启动报错

haproxy -f /opt/haproxy/haproxy.cfg[NOTICE] (3526) : haproxy version is 2.6.2-16a3646 [NOTICE] (3526) : path to executable is /opt/haproxy/bin/haproxy [ALERT] (3526) : Binding [/opt/haproxy/haproxy.cfg:32] for proxy tidb-cluster: cannot bind socket (Cannot assign requested address) for [192.168.1.238:4000] [ALERT] (3526) : [haproxy.main()] Some protocols failed to start their listeners! Exiting.

没有配置系统参数，或者参数未生效。

echo "net.ipv4.ip_nonlocal_bind = 1" >>/etc/sysctl.conf echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf sysctl -p

2、解决Keepalived脚本启动时warning、Unsafe

https://blog.csdn.net/Kangyucheng/article/details/110122893

3、配置Haproxy透传参数send-proxy后，tidb日志一直报write: connection reset by peer

见：https://asktug.com/t/topic/1007543/1

感谢 裤衩儿飞上天的指点。