RGAC高可用群集手艺白皮书

RGAC高可用群集手艺是一种提供高可用性、改善性能和增强应用软件可管理性的有用途径。随着IT运营管理的规范，系统清静和主要性的日益增添，集群手艺必将会有着极为辽阔的应用远景。

宣布时间：2009-11-04
点击量：
点赞：

分享至

我想谈论

生长趋势以及面临的挑战

随着盘算机在社会各个领域的普遍使用，人们已习惯于盘算机系统带来的便捷和高效率，但盘算机系统也很是懦弱，它会受种种因素的影响，如硬件系统自己的故障，电源故障，病毒，自然灾难某人为的恶意破损，都会导致系统无法正常运行。现有许多系统均是单主机事情情形，任何一个单点故障，都会影响IT运维营业的正常运转，并且爆发许多不良效果。

在高校校园数字化校园管理中，焦点的营业应用系统越来越多，这些系统都是关系到高校管理的焦点营业，如：财务系统、办公系统、精品课程系统、清静管理认证系统等，尤其是清静管理认证系统，这个系统是管控所有上网用户的最基本的焦点系统，是所有高质量网络服务的基础，高稳固和高性能向来是高校网络中心管理者的主要思量的问题。
不可稳固运行和低性能的系统常导致

1. 用户知足度很是极差，从而影响用户的使用感受，极大的降低了用户对网络中心信任和依赖；

2. IT部分遭受极大的压力，一方面要包管系统的稳固性，另一方面，系统一旦泛起故障，必需在尽可能短的时间内让系统再次运行，但这往往又无法包管的；

3. 可能导致数据的不完整和纷歧致，甚至部分数据的丧失，尤其在大规模数据应用情形中尤为突出；

4. 当营业大宗增添时，用户使用系统性能严重下降，可是用户不以为是由于营业大宗拓展导致的，而是以为网络中心提供的服务质量欠好造成的；
以上这些问题频仍若是泛起，则会引起高校向导对网络中心折务的不信任，从而可能促使高校向导思量网络中心营业外包，以是解决网络管理的稳固和扩展性已成为网络运维管理的主要使命。

2 手艺配景

2.1 负载平衡

在盘算机硬件价钱下降和盘算机网络拓扑生长的情形下。漫衍式盘算机系统给用户提供了一个富厚的资源荟萃。人们在研究漫衍式系统时就注重到这样一个问题：在一个由网络毗连起来的多盘算机情形中，在某一时刻。一些盘算机的负载过重。而另外一些盘算机的负载较轻，平衡各盘算机之间的负载是使命分派与调理的一个主要目的。它能够提高整个系统的性能。

为了改善系统的性能，通过在多台盘算机之间合理地分派负载，使各台盘算机的负载基本抵达平衡，这种盘算能力共享的形式通常被称为负载平衡或负载共享。

负载平衡建设在现有网络结构之上，它提供了一种廉价有用的要领扩展服务器带宽和增添吞吐量，增强网络数据处置惩罚能力，提高网络的无邪性和可用性。

现代负载平衡手艺通常操作于网络的第四层或第七层。负载平衡器可以凭证现实的响应时间制订优先级交付决议，从而实现高性能、智能化流量管理，抵达最佳的服务器群性能。接纳第七层应用控制还可以镌汰通讯岑岭期的过失信息，由于过失控制和流量管理手艺可以侦测到一些过失信息并透明地将会话重定向到另一个服务器，使用户顺遂地举行使用。

由于接纳磷坪载平衡手艺，自动故障恢复得以实现，服务的时间可以延伸，24×7可靠性和一连运行成为可能。另外，负载平衡器一样平常也支持路径外返回模式，即绕过流量分派器，为那些焦虑期待大宗数据文件请求响应的客户提供更快的响应时间。

在最新的负载平衡产品中，智能化越来越显着。一些智能化的负载平衡器能够侦测到像数据库过失、服务器不可用等信息，从而接纳步伐使会话恢复和重定向服务器使电子商务能够得以顺遂举行。多址负载平衡器可以对客户发来的会见请求举行剖析，盘算出最佳地址，然后将该地址返回客户，使客户自动毗连到对其请求来说最佳的数据中心。

负载平衡，从结构上分为外地负载平衡和地区负载平衡(全局负载平衡)，前一种是指对外地的服务器集群做负载平衡，后一种是指对划分安排在差别的地理位置、在差别的网络及服务器群集之间作负载平衡。

2.2 群集服务

服务器群集是一组协同事情并运行群集服务的自力服务器。服务器群集为资源和应用程序提供高可用性、故障恢复、可伸缩性和可管理性。服务器群集允许客户端在泛起故障和妄想中的暂停时，依然能够会见应用程序和资源。若是群集中的某一台服务器由于故障或维护需要而无法使用，资源和应用程序将转移到可用的群集节点上。

群集服务可以对应用程序和资源举行监控，并能够自动识别和恢复众多故障状态。这为在群集中管理事情负荷提供了无邪性。另外，还提高了整个系统的可用性。

集群手艺是一种通用的手艺，其目的是为相识决单机运算能力的缺乏、IO能力的缺乏、提高服务的可靠性、获得规�？衫┱鼓芰�，降低整体计划的运维本钱（运行、升级、维护本钱）。只要在其他手艺不可抵达以上的目的，或者虽然能够抵达以上的目的，可是本钱过高的情形下，就可以思量接纳集群手艺。

接纳群集手艺可以获得以下优点：

高可用性：通过服务器群集，资源（例如：磁盘驱动器和Internet协议（IP）地址）的所有权会自动从故障服务器转移到可用的服务器。当群集中的某个系统或应用程序爆发故障时，群集软件会在可用的服务器上重新启动故障应用程序，或者将事情从故障节点疏散到剩下的节点上。由此，用户只在瞬间感受到服务的暂停。

故障恢复：当故障服务重视新回到其预定的首选所有者的联机状态时，群集服务将自动在群集中重新分派事情负荷。该特征可设置，但默认禁用。阻止了网络要害部位泛起单点失效。

可管理性：您可以使用“群集管理器”工具（CluAdmin.exe），将群集作为一个简单的系统举行管理，并对犹如运行于一个简单服务器的应用程序实验管理。您可以将应用程序转移到群集中的其它服务器。“群集管理器”可用于手动平衡服务器的事情负荷，并针对妄想维护释放服务器。您还可以监控群集的状态、所有节点以及来自网络任何地方的资源。

可伸缩性：群集服务可扩展以知足需求的增添。当群集监视应用程序的总体负荷凌驾了群集的能力规模时，可以添加附加的节点，解决网络拥塞问题，服务就近提供，实现地理位置无关性。

3 手艺特征先容

3.1 手艺概述

高可用的群集手艺不但可以有用地解决单服务器的性能限制，并且可以实现故障的快速转移，包管服务的高可用性以及无邪的扩展性。RGAC（即：RG Application Cluster——97国际应用群集，下同）计划很好地应用了这一手艺，由多台服务器以对称的方法组成一个服务器荟萃，每台服务器都具有等价的职位，都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载平衡手艺，将外部发送来的请求匀称分派到对称结构中的某一台服务器上，而吸收到请求的服务器自力地回应客户的请求。这种手艺可以用最少的投资获得靠近于大型主机的性能。

同时，RGAC计划整合了数据库的事务复制功效，并针对SAM系统提供的服务，自主举行了研发，抵达多台服务器之间的信息同步，在客户的眼里，SAM系统只有一个，但它所提供的服务，较之单台，越发快捷，也越发稳固！

3.1.1 NLB

Windows server系统（Windows 2000高级服务器版本、Windows server 2003所有版本）中提供了NLB（即：Network Load Balancing——网络负载平衡，下同）功效。
NLB手艺包括两大特点：负载平衡和故障转移。

1. 负载平衡

NLB能将传入的请求撒播到多达32台服务器上，即最多可以使用32台服务器组成一个集群，配合分担对外的网络请求服务。该手艺包管纵然是在负载很重的情形下，服务器也能做出快速响应。

网络负载平衡对外只需提供一个IP地址，即集群IP，客户端使用这个IP即可会见集群。所有的服务器上使用相同的规则，来决议并发的流量被分派到哪一台上举行处置惩罚，从而很洪流平上提高了服务器的处置惩罚能力。

2. 故障转移

NLB第二个强盛的特征是故障转移。集群内每台服务器靠准时发送心跳信息来估定其它服务器的状态。当有一台或几台服务器不可用时，服务不会中止，能够迅速在剩余的服务器中重新指派服务器接受过来，从而对用户是一直可用的，这个历程叫做“聚合”。这项特征能够包管服务被不中止地提供。

3.1.2 信息同步

RGAC计划提供了信息同步功效。

举个例子，系统中有两台设置了NLB的认证服务器A、B，各对应数据库C、D。一个用户提倡添加500个用户的请求，这个请求被NLB分派到服务器A举行处置惩罚，数据库C的用户表中也随之增添这500个用户。但关于请求被分派到服务器B处置惩罚的用户来说，服务器B上并没有这新增的500个用户，那么，用户获得的信息就纷歧致了。差别的用户，差别的操作，获得的效果可能差别。

在RGAC计划中，通过SQL SERVER数据库事务复制和内存同步来解决信息同步的问题。在上面的例子中，数据库C在增添了用户信息后，会把这一转变同步到数据库D上，关于请求被分派到服务器B处置惩罚的用户来说，服务器B上也有新增用户的信息。这样所有的SAM服务器的信息就是同步一致的。

3.2 群集手艺在SAM各营业�？榈挠τ�

3.2.1 报文交互历程

关于SAM来说，来自外部的请求有如下几大方面：

Radius相关认证，记账请求报文

Web管理端http请求/https请求

Web自助端http请求/https请求

和交流机之间的SNMP报文交互

和交流机之间的TRAP报文交互

和NTD之间的IPFIX报文交互

和第三方系统之间的JMS新闻通讯

发送EMAIL的pop3通讯

这些报文交互涉及到的SAM功效很是普遍，各个�？槎加泄π婕�。

3.2.2 手艺框架

系统（NTD，交流机，路由器等）和SAM之间的在NLB的条件下交互历程。

报文传输历程中，涉及到2种流量，HTTP和HTTPS的，NLB是基于IP包的源IP的负载平衡，正常情形下并不会泛起什么问题，统一个源IP的HTTP或者HTTPS请求都是如上所述的交互方法。

如图3-2所示，在正常运行情形下，任何一个牢靠client都只会和NLB中某台服务器举行交互，并且在下次请求历程中仍然维持这种1对1的对应关系。关于纯粹的http和https交互不会泛起什么问题。

但需要思量的是在泛起单点故障时，会受到影响的参数主要思量如下2点：Session、Cookies。

1. 由于Session爆发的影响

假设SAM S2泛起单点故障时，NLB自动把Client A的http请求发送给SAM S3，若是在SAM S2泛起单点故障之前Client A已经在SAM S2上上岸（现在做法是把用户的信息生涯到session中），则在下次http请求到SAM S3之后，会泛起SAM S3让Client A重新上岸认证的情形，由于SAM S2的session信息并没有转移到SAM S3上。当SAM S2恢复后，若是NLB自动又把Client A的请求发给SAM S2，则需要看S2上面的session是否已经逾期（时间逾期或者系统重启导致被清空），若是逾期则仍然需要举行重新上岸，并且最少在SAM S3中存入Session的相关信息也丧失了。

2. 由于Cookies爆发的影响

而关于cookies（可能会用到），由于cookies是生涯在Client A上面的，并不会由于服务器的改变而改变，以是cookies的应用是不会受到影响的。
综上，关于http/https来说，session不可同步是负载平衡带来的问题，解决方法有如下的一些：

不要向Session中存储用户的上岸信息，权限信息以及一些要害的信息，阻止由于session差别步而导致重上岸或者信息丧失的问题；

把上岸信息，权限信息及其他一些信息存储到cookies内里或者存储到数据库内里，然后通过数据库同步抵达信息同步的目的；

3.2.1 认证�？�

关于认证�？�，涉及到网络流量有如下一些类型：

Radius认证报文(UDP)

Ipfix的毗连认证报文（TCP）

当寻常负载平衡正常的情形下，由于数据同步的因素，以是相关装备的信息无论哪个服务器都是一致的，以是不保存什么问题。

由于IPFIX是计费�？榈募品咽章奁�，以是该部分放到计费�？槿ソ�，这里主要讲Radius认证报文受到的影响。

Radius自己是基于UDP传输的，也就是每次一个报文，你来我往，并不像TCP那样需要建设一个通道，装备认证信息，用户信息等等都通过数据库同步抵达数据同步，寻常正常运行在负载平衡模式下不会泛起任何问题，对外就是一台服务器。而当泛起单点故障时，会有如下一些影响：

认证最先之前原定举行该认证报文处置惩罚的服务器泛起故障，则由NLB自动调解到另外一台服务器上举行认证报文的处置惩罚。从认证最先到竣事用户是不会有什么感受的。

认证交互历程中处置惩罚该认证报文的服务器泛起故障，则由NLB自动调解到另外一台服务器上举行重新最先的一次认证报文。关于1次交互的PAP，CHAP来说，那体现就是Radius服务器没响应，然后重发认证报文或者认证超时（这里需要看NLB什么时间侦测到单点故障以及调解的速率了）。关于多次交互的认证方法好比EAP，PEAP等将会给用户予认证失败的提醒，然后需要重新举行认证，那么这里需要思量怎样做？

认证完成之后举行该认证报文处置惩罚的服务器泛起故障时，关于认证报文来说是没有任何影响的，由于认证已经完成，相关权限已经下发。

综述，在认证历程中需要思量在认证交互历程中泛起单点故障时，认证的处置惩罚及回馈用户的信息，若是理论上该段时间可以忽略不计的话，那么该思量也可以只做说明书说明即可。

3.2.2 计费�？�

关于计费�？�，必需思量如下内容：

Radius记账报文收罗器

Ipfix流量报文收罗器

关于Radius记账报文收罗器来说，它不像认证报文一样可以扬弃，以是必需用一个Radius记账暂时表来存储记账最先报文信息或者记账更新报文信息。然后这些信息通过数据库同步方法来抵达各NLB服务器数据同步的目的，进而使得在服务器未收到记账竣事报文之前，仍然能够凭证session id正常的处置惩罚记账竣事和记账更新。并形成暂时计费纪录给计费处置惩罚�？榫傩屑品汛χ贸头�。

关于泛起单点故障时，由NLB切换该源IP（交流机）上的所有IP报文到另外一个服务器上行止置，那么此时已经发送出记账最先/更新报文的信息通过数据库同步在另外谁人服务器上也保存，再次收到记账更新/竣事报文时也能够正常举行处置惩罚。这样的情形下必需知足如下条件：

交流机/路由器必需具备Radius记账报文重发机制

记账暂时表的数据库同步必需是实时的，最高优先级的

SAM当收到记账竣事报文却找不到对应session id时，需要把报文放入延迟处置惩罚行列，阻止由于数据库同步不实时而把主要的计费信息给扬弃了。

关于IPFIX流量报文收罗器，在负载平衡中泛起单点故障时，由于TCP毗连和UDP毗连方法差别，TCP毗连必需建设TCP通道，然后再在通道中传输数据，若是其建设TCP通道的服务器泛起单点故障时，相关协议处置惩罚�？楸匦璧执锶缦乱螅�

NTD端必需具备TCP通道重连功效

NTD方面没有乐成发出的流量需要保存并且做延迟重发处置惩罚
而由于IPFIX流量是通过报文－内存－数据库暂时表－数据库纪录表，这样的条理存储，以是一旦泛起单点故障，则在内存中的流量数据将会丧失，单数据库暂时表信息由于数据库同步的保存使得数据能够共享并继续完成流量的剖析处置惩罚�；诖�，内存中的流量信息生涯时间最大值必需是可控规模的，需要设定一些战略来包管内存中信息实时更新到数据库暂时表中。

3.3 手艺应用

3.3.1 认证流量负载平衡

接纳NLB手艺，可以让多个服务器同时平衡的处置惩罚多点并发会见要求，在不增添每台服务器设置的情形下，成倍的提高网络服务的认证管理的性能。

统一高可用群集中的SAM分担处置惩罚认证请求，系统性能倍增。

RGAS可实现手艺参数：

单机40用户/秒

双机80用户/秒

四机120用户/秒

3.3.2 营业实时热备份

清静管理认证系统的无故障运行是确保全网用户能够随时使用网络的要害要素，也是网络中心为全校提供高质量网络服务的一个主要包管。通过高可用群集手艺的支持，可告竣单台服务不可能实现的整年无故障运行的性能指标。

3.3.3 跨校区帐号周游

　　各大高校的园区规模一直扩大，高校的基础设施建设规模也随之一连完善，由此爆发的在高校各园区之间透明的帐号周游需求已经成为越来越多高校亟待解决的问题。RGAC解决计划通过提供在差别园区之间、差别接入方法的帐号周游知足帐号周游需求，这种周游对用户是完全透明的。在所有安排了RGAC系统的地理区域，网络接入用户可以利便使用唯一的帐号接入网络，并且该帐号下的所有用户信息与其它园区坚持一致。在后台，网络中心管理者在举行统一管理，帐号的统一管理极大的提高管理者的事情效率，减轻事情量。
　

3.3.4 数据备份

　由于RGAC具有数据库实时同步手艺，可在各数据库服务器同步数据。当某一台数据库服务泛起故障，其它同步的数据库服务器可实时的替换，不会影响数据的正常使用，并且在故障扫除后，系统需要在可控的时间规模内自动同步缺失的数据到新的数据库服务器上，从而实现系统容灾的特征，确保数据库单点故障不影响全局系统的正常运行。

4 典范组网案例

4.1 拓扑计划

计划先容

系统由2台SAM服务器组成一个RG-AC（97国际应用群集），它是双机同时处置惩罚认证请求的，具有负载分担，冗余备份的特点。

4.2 实现应用

4.2.1 数据库自动同步复制

组成NLB系统的二台服务器，当一台服务器数据库有读写操作时，另一台服务器中自动同步操作�？梢允迪至硪惶ǚ衿魃峡⒌挠没�，数据库自动同步复制正常。

4.2.2 NLB双机热备

二台服务器组成NLB双机热备，SAM3.0具有双机热备功效。关掉一台SAM服务器或者离线，用户可通过认证。

4.2.3 计划效益

通过RGAC手艺，可以在较少的投资和不改变原有网络安排计划的情形下解决以下问题。
峰值问题

SAM系统在上线和下线的岑岭期时，这是网络流量的岑岭阶段，其它时间网络流量相对较少。服务器的处置惩罚保存“波峰”和“波谷”的转变，并且“波峰”时，营业量巨细的转变又不纪律，这就使SAM服务器不得不面临“峰值梗塞”问题。原有解决要领为增添服务器的自己硬件设置或实现单机热备，提高处置惩罚能力。但仍保存性能不平衡问题，且这样做，投资本钱大并且自己硬件设置提升关于高�？突Ю此凳怯衅烤钡�。

单点故障

单台SAM服务器的设置，不可阻止会泛起“单点故障”，需要举行SAM服务器“容错”。为实现容错，现在2.x的做法是主服务器旁安顿一台备份服务器做热备。但这样做，平时只有一台服务器事情，另外一台服务器处于空闲状态，无法完全使用所有服务器的处置惩罚资源，投资得不到充分使用，照旧相当于一台服务器在事情罢了。且当泛起“峰值梗塞”时，所获得的很可能是“多米诺”效应，即所有服务器一连被“堵”至“死”，相互切换直到最后所有服务器都死掉，最终系统完全瘫痪。并且，当所有服务器都损坏时，无法动态、合理地使用其它资源提供服务或备份。

扩展未便

随着SAM应用规模一直的增大，服务器上所要处置惩罚的数据量一直增大，同时在线爆发的数据和web管理员需要举行管理的数据也会越来越多。若处置惩罚资源不敷，在未凌驾系统容量时，往往是客户的请求回应越来越慢，可容纳的同时毗连数目逐渐减小，系统性能严重下降。当凌驾系统容量后，系统泛起故障导致营业中止。为应对日益增多的营业量，系统的扩展性尤为主要。

5 支持AC手艺的产品
　　

集群手艺	产品
支持网卡	Intel系列网卡
	3Com系列网卡
	不支持其他如TP LINK等网卡
支持系统	Windows Server 2003
支持数据库	MS SQL Server 2000