专业网站建设品牌,十四年专业建站经验,服务6000+客户--广州京杭网络
免费热线:400-683-0016      微信咨询  |  联系我们

如何使用HAProxy实现HiveServer2负载均衡_服务器

当前位置:网站建设 > 技术支持
资料来源:网络整理       时间:2023/3/7 15:29:38       共计:3605 浏览

如何使用HAProxy实现HiveServer2负载均衡?

HAProxy是一款提供高可用性、负载均衡以及基于TCP(第四层)和HTTP(第七层)应用的代理软件,支持虚拟主机,它是免费、快速并且可靠的一种负载均衡解决方案,

于2001年12年首次发布,比Nginx历史悠久,18年来,HAProxy一直在演化和创新,2019年5月HAProxy2.0版本发布。

1、HAPorxy的优点

1)HAProxy实现了一种事件驱动、单一进程模型,此模型支持非常大的并发连接数,在多核模式下可以利用CPU亲和性,启动多个HAProxy进程增强并发。

2)支持四层、七层负载均衡,支持TCP、HTTP、HTTPS、HTTP2、websocket协议。

3)支持多种负载均衡算法。

4)健康检查:支持TCP和HTTP两种主动健康检查模式。

5)HTTP请求重写与重定向,会话保持。

6)HAProxy2.0支持云原始和容器化

a、7层网络重试:可以从第7层的另一台服务器重试失败的HTTP请求

b、现在支持向Prometheus暴露 metric

c、多语言可扩展性:HAProxy 1.7 中引入了流处理卸载引擎(SPOE,Stream Processing Offload Engine)和流处理卸载协议(SPOP,Stream Processing Offload Protocol),目标是使用任何编程语言创建构建在 HAProxy上所必需的扩展。

d、Traffic shadowing,可以将请求从一个环境镜像到另一个环境,这可以将一定比例的生产流量发送到测试或暂存环境,以在完全部署之前审核发布的情况。新的 Traffic Shadowing 守护进程被编写为流处理卸载代理(SPOA,Stream Processing Offload Agent),并利用 HAProxy 的 SPOE,允许使用任何编程语言扩展 HAProxy。

e、完全支持 gRPC,允许双向数据流,检测 gRPC 消息和记录 gRPC 流量。

f、支持HAProxy Kubernetes Ingress 控制器和功能强大的 HAProxy 数据平面 API,它提供了一个用于配置和管理 HAProxy 的现代 REST API

2、HAProxy的安装

1)yum安装

yum -y install haproxy

2)HAProxy是开源的,可以从其网站下载源码,通过源码编译安装

3、HiveServer2服务

1)HiveServer2(HS2)是一种能使客户端执行Hive查询的服务。

2)HiveServer2可以支持多客户端并发和身份认证,旨在为开放API客户端(如JDBC和ODBC)提供更好的支持。

3)HiveServer2单进程运行,提供组合服务,包括基于Thrift的Hive服务(TCP或HTTP)和用于Web UI的Jetty Web服务器。

4)HiveServer2在TCP模式下使用TThreadPoolServer(来自Thrift),在HTTP模式下使用Jetty Server。

4、HAProxy配置支持HiveServer2服务

HAProxy的配置比较简单,通过tcp的80端口将rpc请求转发后端相应的HiveServer2 server上

配置格式如下:

global

log 127.0.0.1 local2

chroot /var/lib/haproxy

pidfile /var/run/haproxy.pid

user haproxy

group haproxy

daemon

# turn on stats unix socket

stats socket /var/lib/haproxy/stats

fronten my_frontend

bind 80

mode tcp

default_backend my_backend

backend my_backend

mode tcp

balance roundrobin

server hiveserver2_01 172.28.13.45:8080 check

server hiveserver2_02 172.28.13.46:8080 check

5、总结

HAProxy的开源免费,高性能等特点,会越来越受互联网公司的青睐。

版权说明:
本网站凡注明“广州京杭 原创”的皆为本站原创文章,如需转载请注明出处!
本网转载皆注明出处,遵循行业规范,如发现作品内容版权或其它问题的,请与我们联系处理!
欢迎扫描右侧微信二维码与我们联系。
·上一条:怎么把登录的个人信息彻底删除_服务器 | ·下一条:玩战地5需要加速器吗_服务器

Copyright © 广州京杭网络科技有限公司 2005-2025 版权所有    粤ICP备16019765号 

广州京杭网络科技有限公司 版权所有