Nginx + Shiro + Ehcache 实现负载均衡集群(成绩报告查询系统)

项目介绍

最近在做一款产品,对外提供学生成绩报告的查询,支付,查看以及下载等一系列功能,这里就简称成绩报告查询系统吧。

初步参赛人数十万左右,可能会存在相对高的并发同时在线,所以开发阶段就对负载均衡集群做了设计。

当然,涉及到负载均衡集群,就要考虑的Session存储的问题,由于项目本身使用了Ehcache做本地缓存,Shiro对其做了很好的封装,并且Ehcache也是支付分布式缓存同步的。所以,采用Ehcache做session存储暂且是一种实施方案。

关于Ehcache分布式缓存见:
https://blog.52itstyle.com/archives/568/

项目架构

Spring MVC4 + Shiro-1.3.2 + Ehcache-2.10.0

运行环境

Nginx + Tomcat7(3台) + JDK1.7

项目架构图

Ehcache分布式缓存.png

前端

前端服务器使用Nginx做负载均衡,开启Gizp压缩,并实现动静分离,所有静态文件(JS/CSS/PNG等)请求由Nginx处理。

#查询系统配置
server {
        listen       80;
        server_name  www.xxx.com  xxx.com;
        index  index.jsp index.html;
        location / {
              proxy_next_upstream http_502  http_504 error timeout invalid_header;
              proxy_pass      http://report;
        }
        location ~ .*.(css|js|png|jpg)$
        {
            proxy_pass http://report;
            proxy_cache cache;
            add_header Nginx-Cache $upstream_cache_status;#统计缓存命中
            proxy_set_header Accept-Encoding 'gzip';#强制浏览器
            expires 30d;
        }
}
upstream report {
          #ip_hash;
            server  172.16.1.120:8080 weight=1  max_fails=2 fail_timeout=30s;
            server  172.16.1.130:8080 weight=1  max_fails=2 fail_timeout=30s;
                        server  172.16.1.150:8080 weight=1  max_fails=2 fail_timeout=30s;
}

后端

后端部署3台Tomcat服务器,所有动态请求(JSP/Action等)交给Tomcat处理,同时配置Tomcat的工作模式为Nio,这里大家可以自行百度Nio工作模式的优点。

实现方式

Nginx负载均衡模式本身支持加权轮询和ip_hash的。

ip_hash

同一个用户的请求将全部分配到一台服务,当然也就不存在session共享的问题。但是可能由于请求IP的不固定性,导致单个服务负载过大;如果其中一台宕掉,用户状态也不能转移。

所以,如果是基于ip_hash的配置,Ehcache本地缓存和分布式缓存都可以实现。

加权轮询

每一个用户的每一次请求根据权重分配到不同的机器,这就涉及到了session共享的问题。打个比方,如果用户登录是后端服务器A并且保存了用户信息,但是下一次请求可能就会跳转到后端服务器B,可想而知,这时B是没有用户信息的,也就是说用户还得跳转到登录页面。

这就涉及到分布式缓存的问题了,如果实现服务器ABC之间session同步的问题,图中所示,由RMI组播方式实现Ehcache缓存的同步。所以,如果采用加权轮询必须使用分布式缓存管理session。

项目实现

applicationContext-ehcache.xml 配置:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
    xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
            http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd
            http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd
            http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.0.xsd">

    <description>Shiro EhCacheManager(单点最好使用此配置,集群下使用redisManager)</description>
    
    <!-- 缓存配置-->
    <bean id="cacheManager" class="org.springframework.cache.ehcache.EhCacheManagerFactoryBean">
        <property name="configLocation" value="classpath:cache/ehcache-rmi.xml" />
    </bean> 
    
     <!-- 缓存管理 -->
    <bean id="shiroCacheManager" class="org.apache.shiro.cache.ehcache.EhCacheManager">
        <property name="cacheManager" ref="cacheManager"/>
    </bean>
    
    <!-- 会话DAO -->
    <bean id="sessionDAO" class="org.apache.shiro.session.mgt.eis.EnterpriseCacheSessionDAO">
          <property name="cacheManager" ref="shiroCacheManager" />
    </bean> 
    
</beans>

ehcache-rmi.xml 配置:

<?xml version="1.0" encoding="UTF-8"?>
<ehcache updateCheck="false" name="defaultCache">
    <!-- 分布式缓存RMI同步(大规模集群、复杂环境慎用) -->
    <diskStore path="java.io.tmpdir" />
        
    <cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory"
        properties="peerDiscovery=automatic,multicastGroupAddress=230.0.0.1, multicastGroupPort=4446" />
    <cacheManagerPeerListenerFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory" />

    <!-- 默认缓存配置. -->
    <defaultCache maxEntriesLocalHeap="100" eternal="false" timeToIdleSeconds="300" timeToLiveSeconds="600"
        overflowToDisk="true" maxEntriesLocalDisk="100000" >
        <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
            properties="replicatePuts=false,replicateUpdatesViaCopy=false"/>
    </defaultCache>
    
    <!-- 系统缓存 -->
    <cache name="sysCache" maxEntriesLocalHeap="100" eternal="true" overflowToDisk="true">
        <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"/>
    </cache>
    
    <!-- 系统活动会话缓存 -->
    <cache name="shiro-activeSessionCache" maxEntriesLocalHeap="10000" overflowToDisk="true"
            eternal="true" timeToLiveSeconds="0" timeToIdleSeconds="0"
            diskPersistent="true" diskExpiryThreadIntervalSeconds="600">
        <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
            properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true,
                replicateUpdatesViaCopy=false, replicateRemovals=true "/>
    </cache>
        
</ehcache>

实现缺点

HCACHE的组播做得比较初级,功能只是基本实现(比如简单的一个HUB,接两台单网卡的服务器,互相之间组播同步就没问题),对一些复杂的环境(比如多台服务器,每台服务器上多地址,尤其是集群,存在一个集群地址带多个物理机,每台物理机又带多个虚拟站的子地址),就容易出现问题。

究其原因, 组播/广播转发是一个很复杂的过程. 简单的说, 一个组播缺省只能在一个网段内传输,不能跨网段。

更何况在一些云计算的环境,集群的分布往往是跨网段的,甚至是跨地域的.这时更难以依赖这种初级的组播同步。

总之,分布式集群架构,建议使用Redis或者Memcache缓存实现。

下一篇文章继续讲 基于 Nginx + Shiro + Redis 实现负载均衡集群(成绩报告查询系统升级篇)

**
声明:本文内容大体流程仅供参考,有些并未涉及到具体代码实现。**

qrcode_for_gh_bf7a27ade681_258.jpg

作者: 小柒

出处: https://blog.52itstyle.com

分享是快乐的,也见证了个人成长历程,文章大多都是工作经验总结以及平时学习积累,基于自身认知不足之处在所难免,也请大家指正,共同进步。

本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出, 如有问题, 可邮件(345849402@qq.com)咨询。