为PXC集群引入Mycat并构建完整的高可用集群架构

测试

接着在所有分片中创建t_orders表，具体的建表SQL如下：

create table t_orders(
    id int primary key,
    customer_id int not null,
    create_time datetime default current_timestamp
);

现在分片中有两个用户，id为1的用户存储在第一个分片，id为2的用户存储在第二个分片。此时，通过Mycat插入一条订单记录：

insert into t_orders(id, customer_id)
values(1, 1);

由于该订单记录关联的是id为1的用户，根据父子表的规定，会被存储至第一个分片中。如下图：

同样，如果订单记录关联的是id为2的用户，那么就会被存储至第二个分片中：

insert into t_orders(id, customer_id)
values(2, 2);

测试结果如下：

由于父子表的数据都是存储在同一个分片，所以在Mycat上进行关联查询也是没有问题的：

组建双机热备的高可用Mycat集群

前言

在以上小节的示例中，我们可以看到对后端数据库集群的读写操作都是在Mycat上进行的。Mycat作为一个负责接收客户端请求，并将请求转发到后端数据库集群的中间件，不可避免的需要具备高可用性。否则，如果Mycat出现单点故障，那么整个数据库集群也就无法使用了，这对整个系统的影响是十分巨大的。

所以本小节将演示如何去构建一个高可用的Mycat集群，为了搭建Mycat高可用集群，除了要有两个以上的Mycat节点外，还需要引入Haproxy和Keepalived组件。

其中Haproxy作为负载均衡组件，位于最前端接收客户端的请求并将请求分发到各个Mycat节点上，用于保证Mycat的高可用。而Keepalived则用于实现双机热备，因为Haproxy也需要高可用，当一个Haproxy宕机时，另一个备用的Haproxy能够马上接替。也就说同一时间下只会有一个Haproxy在运行，另一个Haproxy作为备用处于等待状态。当正在运行中的Haproxy因意外宕机时，Keepalived能够马上将备用的Haproxy切换到运行状态。

Keepalived是让主机之间争抢同一个虚拟IP（VIP）来实现高可用的，这些主机分为Master和Backup两种角色，并且Master只有一个，而Backup可以有多个。最开始Master先获取到VIP处于运行状态，当Master宕机后，Backup检测不到Master的情况下就会自动获取到这个VIP，此时发送到该VIP的请求就会被Backup接收到。这样Backup就能无缝接替Master的工作，以实现高可用。

引入这些组件后，最终我们的集群架构将演变成这样子：

安装Haproxy

Haproxy由于是老牌的负载均衡组件了，所以CentOS的yum仓库中自带有该组件的安装包，安装起来就非常简单。安装命令如下：

[root@Haproxy-Master ~]# yum install -y haproxy

配置Haproxy：

[root@Haproxy-Master ~]# vim /etc/haproxy/haproxy.cfg
#　在文件的末尾添加如下配置项
# 监控界面配置
listen admin_stats
    # 绑定的ip及监听的端口
    bind 0.0.0.0:4001
    # 访问协议
    mode http
    # URI 相对地址
    stats uri /dbs
    # 统计报告格式
    stats realm Global\ statistics
    # 用于登录监控界面的账户密码
    stats auth admin:abc123456

# 数据库负载均衡配置
listen proxy-mysql
    # 绑定的ip及监听的端口
    bind 0.0.0.0:3306
    # 访问协议
    mode tcp
    # 负载均衡算法
    # roundrobin：轮询
    # static-rr：权重
    # leastconn：最少连接
    # source：请求源ip
    balance roundrobin
    # 日志格式
    option tcplog
    # 需要被负载均衡的主机
    server mycat_01 192.168.190.136:8066 check port 8066 weight 1 maxconn 2000
    server mycat_02 192.168.190.135:8066 check port 8066 weight 1 maxconn 2000
    # 使用keepalive检测死链
    option tcpka

由于配置了3306端口用于TCP转发，以及4001作为Haproxy监控界面的访问端口，所以在防火墙上需要开放这两个端口：

[root@Haproxy-Master ~]# firewall-cmd --zone=public --add-port=3306/tcp --permanent
[root@Haproxy-Master ~]# firewall-cmd --zone=public --add-port=4001/tcp --permanent
[root@Haproxy-Master ~]# firewall-cmd --reload

完成以上步骤后，启动Haproxy服务：

[root@Haproxy-Master ~]# systemctl start haproxy

然后使用浏览器访问Haproxy的监控界面，初次访问会要求输入用户名密码，这里的用户名密码就是配置文件中所配置的：

登录成功后，就会看到如下页面：

Haproxy的监控界面提供的监控信息也比较全面，在该界面下，我们可以看到每个主机的连接信息及其自身状态。当主机无法连接时，Status一栏会显示DOWN，并且背景色也会变为红色。正常状态下的值则为UP，背景色为绿色。

另一个Haproxy节点也是使用以上的步骤进行安装和配置，这里就不再重复了。

测试Haproxy

Haproxy服务搭建起来后，我们来使用远程工具测试一下能否通过Haproxy正常连接到Mycat。如下：

连接成功后，在Haproxy上执行一些SQL语句，看看能否正常插入数据和查询数据：

我们搭建Haproxy是为了让Mycat具备高可用的，所以最后测试一下Mycat是否已具备有高可用性，首先将一个Mycat节点给停掉：

[root@mycat-01 ~]# mycat stop
Stopping Mycat-server...
Stopped Mycat-server.
[root@mycat-01 ~]#

此时，从Haproxy的监控界面中，可以看到mycat_01这个节点已经处于下线状态了：

现在集群中还剩一个Mycat节点，然后我们到Haproxy上执行一些SQL语句，看看是否还能正常插入数据和查询数据：

从测试结果可以看到，插入和查询语句依旧是能正常执行的。也就是说即便此时关掉一个Mycat节点整个数据库集群还能够正常使用，说明现在Mycat集群是具有高可用性了。

利用Keepalived实现Haproxy的高可用

实现了Mycat集群的高可用之后，我们还得实现Haproxy的高可用，因为现在的架构已经从最开始的Mycat面向客户端变为了Haproxy面向客户端。

而同一时间只需要存在一个可用的Haproxy，否则客户端就不知道该连哪个Haproxy了。这也是为什么要采用VIP的原因，这种机制能让多个节点互相接替时依旧使用同一个IP，客户端至始至终只需要连接这个VIP。所以实现Haproxy的高可用就要轮到Keepalived出场了，在安装Keepalived之前需要开启防火墙的VRRP协议：

[root@Haproxy-Master ~]# firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --protocol vrrp -j ACCEPT
[root@Haproxy-Master ~]# firewall-cmd --reload

然后就可以使用yum命令安装Keepalived了，需要注意Keepalived是安装在Haproxy节点上的：

[root@Haproxy-Master ~]# yum install -y keepalived

安装完成后，编辑keepalived的配置文件：

[root@Haproxy-Master ~]# mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak  # 不使用自带的配置文件
[root@Haproxy-Master ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
   state MASTER
   interface ens32
   virtual_router_id 51
   priority 100
   advert_int 1
   authentication {  
       auth_type PASS
       auth_pass 123456
   }

   virtual_ipaddress {
       192.168.190.100
   }
}

配置说明：

• state MASTER：定义节点角色为master，当角色为master时，该节点无需争抢就能获取到VIP。集群内允许有多个master，当存在多个master时，master之间就需要争抢VIP。为其他角色时，只有master下线才能获取到VIP
• interface ens32：定义可用于外部通信的网卡名称，网卡名称可以通过ip addr命令查看
• virtual_router_id 51：定义虚拟路由的id，取值在0-255，每个节点的值需要唯一，也就是不能配置成一样的
• priority 100：定义权重，权重越高就越优先获取到VIP
• advert_int 1：定义检测间隔时间为1秒
• authentication：定义心跳检查时所使用的认证信息
  • auth_type PASS：定义认证类型为密码
  • auth_pass 123456：定义具体的密码
• virtual_ipaddress：定义虚拟IP（VIP），需要为同一网段下的IP，并且每个节点需要一致

完成以上配置后，启动keepalived服务：

[root@Haproxy-Master ~]# systemctl start keepalived

当keepalived服务启动成功，使用ip addr命令可以查看到网卡绑定的虚拟IP：

另一个节点也是使用以上的步骤进行安装和配置，这里就不再重复了。

测试Keepalived

以上我们完成了Keepalived的安装与配置，最后我们来测试Keepalived服务是否正常可用，以及测试Haproxy是否已具有高可用性。

首先，在其他节点上测试虚拟IP能否正常ping通，如果不能ping通就需要检查配置了。如图，我这里是能正常ping通的：

常见的虚拟IP ping不通的情况：

• 防火墙配置有误，没有正确开启VRRP协议
• 配置的虚拟IP与其他节点的IP不处于同一网段
• Keepalived配置有误，或Keepalived根本没启动成功

确认能够从外部ping通Keepalived的虚拟IP后，使用Navicat测试能否通过虚拟IP连接到Mycat：

连接成功后，执行一些语句测试能否正常插入、查询数据：

到此就基本没什么问题了，最后测试一下Haproxy的高可用性，将其中一个Haproxy节点上的keepalived服务给关掉：

[root@Haproxy-Master ~]# systemctl stop keepalived

然后再次执行执行一些语句测试能否正常插入、查询数据，如下能正常执行代表Haproxy节点已具有高可用性：