利用HAProxy代理SQL Server的AlwaysOn辅助副本
公司最近数据库升级到SQL Server2014 ,并部署了alwayson高可用集群
机房内有三套程序需要读取数据库
第一套:主程序,读写数据库,连接主副本
第二套:报表程序,读报表,连接辅助副本
第三套:历史库程序,读历史库,连接辅助副本
软件环境
机器环境
架构图
为什麽需要使用HAProxy?
之前机房里面有2000个终端,这些终端是一个很小的嵌入式设备,第二套报表程序原来是使用直连数据库IP(10.11.10.36)来连接数据库
但这样有一个弊端,当36这台辅助副本宕机,那么报表程序就瘫痪了,因为2000个终端要更改数据库连接需要烧写程序到终端里面非常耗费时间
可能要几天时间
最后决定使用HAProxy做负载均衡和TCP连接重定向
使用HAProxy有几个好处
1、前端不需要后端数据库的实际IP,当需要升级后端数据库,比如打补丁的时候特别方便
2、HAProxy能够自动检测后端数据库服务,探测1433端口是否存活,如果1433端口出问题,能够自动重定向连接到37这台辅助副本
3、减轻单台读库压力,使用RR轮询算法,请求均衡分发到36和37这两台辅助副本,减轻36这台机器的压力
HAProxy相关配置步骤
#yum安装,版本是1.5.4
yum install -y haproxy.x86_64
#编辑rsyslog 文件,修改为-c 2 -r -x -m
vi /etc/sysconfig/rsyslog
SYSLOGD_OPTIONS="-c 2 -m 0 -r -x"
#编辑rsyslog.conf 文件添加两行local3.* 和local0.*
vi /etc/rsyslog.conf
local7.* /var/log/boot.log
local3.* /var/log/haproxy.log
local0.* /var/log/haproxy.log
#重启rsyslog服务
service rsyslog restart
# 编辑haproxy配置文件 下面以mssql从库负载均衡为例
vi /etc/haproxy/haproxy.cfg
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 6000
user haproxy
group haproxy
daemon
#stats socket /var/lib/haproxy/stats
stats socket /var/run/haproxy.sock mode 666 level admin
stats timeout 2m
defaults
mode http
log 127.0.0.1:514 local3
option dontlognull
#option http-server-close
#option forwardfor except 127.0.0.0/8
option redispatch
retries 3
timeout http-request 10s
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 6000
listen stats
mode http
bind *:2080
stats enable
stats refresh 30s
stats uri /haproxyadminstats
stats realm HAProxy\ Statistics
stats auth admin:admin
stats admin if TRUE
listen mssql :1433
mode tcp
balance roundrobin
server mssqldb1 10.11.10.36:1433 weight 1 maxconn 6000 check port 1433 inter 2000 rise 2 fall 2
server mssqldb2 10.11.10.37:1433 weight 1 maxconn 6000 check port 1433 inter 2000 rise 2 fall 2
#检查配置文件是否有语法错误
haproxy -f /etc/haproxy/haproxy.cfg -c
Configuration file is valid
#启动haproxy
/etc/init.d/haproxy start
#检查haproxy是否在监听
netstat -lntp
注意:Centos机器只需要使用一个网口,不需要额外增加网口
#打开后台管理界面
HAProxy提供了一个后台管理界面
查看haproxy的日志
cat /var/log/haproxy.log
测试验证
使用SSMS2016来连接HAProxy的IP
10.11.10.39
现在是连接到GZC-SQL03这台机
现在把 GZC-SQL03这台机的SQL服务停了
HAProxy已经探测到 GZC-SQL03这台机的SQL服务停了
再次点击一下执行按钮,可以发现已经重定向到 GZC-SQL02这台机
虽然经过HAProxy这一层,但是性能方面也不算太差
HAProxy的通信方式
通信方式类似于LVS的NAT模式
LVS的NAT模式(调度器将请求的目标ip即vip地址改为Real server的ip,
返回的数据包也经过调度器,调度器再把源地址修改为vip)
总结
线上环境使用HAProxy已经差不多1个月,到现在没有出现过问题,比较稳定
对于HAProxy原理上的东西这里就不叙述了,网上有很多资料
参考文章:
如果是每个业务使用不同端口,可以使用下面的配置文件
比如报表使用1433端口,BI抽取数据使用2433端口
vi /etc/haproxy/haproxy.cfg
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 6000
user haproxy
group haproxy
daemon
#stats socket /var/lib/haproxy/stats
stats socket /var/run/haproxy.sock mode 666 level admin
stats timeout 2m
defaults
mode http
log global
option dontlognull
option http-server-close
option forwardfor except 127.0.0.0/8
option redispatch
retries 3
timeout http-request 10s
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 6000
listen stats
mode http
bind *:2080
stats enable
stats refresh 30s
stats uri /haproxyadminstats
stats realm HAProxy\ Statistics
stats auth admin:admin
stats admin if TRUE
listen mssql :1433
mode tcp
balance roundrobin
server mssqldb1 10.11.10.36:1433 weight 1 maxconn 6000 check port 1433 inter 2000 rise 2 fall 2
server mssqldb2 10.11.10.37:1433 weight 1 maxconn 6000 check port 1433 inter 2000 rise 2 fall 2
listen mssql2 :2433
mode tcp
balance leastconn
server mssqldb3 10.11.10.37:1433 maxconn 6000 check port 1433 inter 2000 rise 2 fall 2
如有不对的地方,欢迎大家拍砖o(∩_∩)o
本文版权归作者所有,未经作者同意不得转载。
- 介绍
- HAProxy是支持虚拟主机的,通过frontend指令来实现
- 能够补充Nginx的一些缺点比如Session的保持,Cookie的引导等工作
- 支持url检测后端的服务器出问题的检测会有很好的帮助。
- 它跟LVS一样,本身仅仅就只是一款负载均衡软件;单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度,在并发处理上也是优于Nginx的。
- HAProxy可以对Mysql读进行负载均衡,对后端的MySQL节点进行检测和负载均衡,不过在后端的MySQL
slaves数量超过10台时性能不如LVS,所以我向大家推荐LVS+Keepalived。 - 能对请求的url和header中的信息做匹配,有比lvs有更好的7层实现
- HAProxy的负载均衡算法现在也越来越多了,具体有如下8种:
①
roundrobin,表示简单的轮询,这个不多说,这个是负载均衡基本都具备的;
②static-rr,表示根据权重,建议关注;
③leastconn,表示最少连接者先处理,建议关注;
④source,表示根据请求源IP,这个跟Nginx的IP_hash机制类似,我们用其作为解决session问题的一种方法
⑤ri,表示根据请求的URI;
⑥rl_param,表示根据请求的URl参数’balance url_param’ requires
an URL parameter name;
⑦hdr(name),表示根据HTTP请求头来锁定每一次HTTP请求;
⑧rdp-cookie(name),表示根据据cookie(name)来锁定并哈希每一次TCP请求。
- 安装
1
下载链接
2 tar -zxvf haproxy-version.tar.gz
3 cd haproxy-version
4 uname -a
Linux localhost.localdomain 3.10.0-327.el7.x86_64 #1 SMP Thu Oct 29 17:29:29 EDT 2015 x86_64 x86_64 x86_64 GNU/Linux
5 make TARGET=linux31
6 make install PREFIX=/data/haproxy
7 cd /data/haproxy
8 mkdir conf
9 cd conf
9 touch haproxy.conf
10 vim haproxy.conf - 配置haproxy.conf
负载均衡集群介绍
- 主流开源软件LVS、keepalived、haproxy、nginx等
- 其中LVS属于4层(网络OSI
7层模型),nginx属于7层,haproxy既可以认为是4层,也可以当做7层使用 - keepalived的负载均衡功能其实就是lvs
- lvs这种4层的负载均衡是可以分发TCP协议,web服务是80端口,除了分发80端口,还有其他的端口通信的,比如MySQL的负载均衡,就可以用LVS实现,而nginx仅仅支持http,https,mail,haproxy;haproxy也支持MySQL这种TCP负载均衡的
- 相比较来说,LVS这种4层的更稳定,能承受更多的请求,承载的并发量更高,而nginx这种7层的更加灵活,能实现更多的个性化需求
LVS介绍
- LVS是由国人章文嵩开发
- 流行度不亚于apache的httpd,基于TCP/IP做的路由和转发,稳定性和效率很高
- LVS最新版本基于Linux内核2.6,有好多年不更新了
- LVS有三种常见的模式:NAT、DR、IP Tunnel
- LVS架构中有一个核心角色叫做分发器(Load
balance),它用来分发用户的请求,还有诸多处理用户请求的服务器(Real
Server,简称rs)
global
# 定义每个haproxy进程的最大连接数
maxconn 40000
daemon
user haproxy
group haproxy
# 定义haproxy的pid,定义haproxy pid文件存放位置
pidfile /data/haproxy/h.pid
log 127.0.0.1:514 local2
defaults
log global
mode http
option httplog
option dontlognull
no option log-health-checks
no option dontlog-normal
option log-separate-errors
# add X-Forwarded-For: IP
option forwardfor
balance roundrobin
hash-type consistent
timeout connect 10000
timeout queue 1000
timeout tarpit 12000
timeout client 120000
timeout server 120000
timeout http-request 120000
timeout http-keep-alive 120000
timeout check 3000
grace 3000
frontend h_9999
maxconn 60000
bind 0.0.0.0:9999
use_backend weixin_server
# 这里定义你要代理的服务器
backend weixin_server
balance roundrobin
log global
cookie SERVERID
server db_test_155_8888 10.1.3.155:8888 check inter 2000 fall 3