手艺盛宴 | 97国际数据中心交流机ACL营业TCAM资源评估指南

宣布时间：2022-04-13

97国际·(中国区)集团官方网站

互联网服务中心田小杨

前言

列位读者在安排数据中心项目时，是否也遇到过类似情形：

在安排数据中心交流机的ACL相关营业时，ACL条目仅安排几条，但交流机照旧提醒TCAM资源缺乏设置无法生效；

数据中心交流机的TCAM模式有许多种，不清晰究竟应该使用哪种模式，才适合目今的安排情形；

在妄想装备营业时，不清晰应该思量哪些因素，才华包管不会泛起TCAM资源缺乏的情形。

本文希望能够资助列位解决以上问题，同时也希望助力列位深入明确装备在给ACl分派TCAM资源时的底层逻辑，从而妄想好自己数据中心网络的营业，阻止泛起TCAM资源缺乏的情形。

TCAM简介

TCAM是数据中心交流机产品上用于保存ACL表项的存储器。凭证ACL应用的位置差别通常将TCAM资源分VFP ACL TCAM资源、IFP ACL TCAM资源、EFP ACL TCAM资源三种。TCAM上存放ACL表项的最小单位是Slice，每个Slice凭证容量存放若干的ACL条目。

97国际·(中国区)集团官方网站

Single Slice(单宽)与Double Slice(双宽)

一台数据中心交流机每个Slice的位宽长度是牢靠的（差别型号交流机Slice位宽略有差别，好比S6510-48VS8CQ每个Slice位宽为160bit）。若是一个营业的位宽没有凌驾单宽Slice的位宽，那么该营业使用一个Slice举行存储即可，即说该营业使用Single Slice（单宽）；若是一个营业的位宽凌驾Slice的位宽，那么该营业需要通过将两个相邻Slice（偶数最先）拼接形成位宽更大的Double Slice（双宽）使用，即说该营业使用Double Slice（双宽）。

97国际·(中国区)集团官方网站

营业的位宽依据ACL中ACE涉及到匹配域之和举行盘算，所有ACE中涉及的匹配域之和与Slice的位宽举行较量，若是该营业的位宽没有凌驾单宽Slice的位宽，则该营业使用Single Slice（单宽），反之则使用Double Slice（双宽）。

97国际·(中国区)集团官方网站

其中Etype、Port、PortGroup匹配域凭证营业应用需要下发，ACL没有显示感知。

盒式交流机和框式交流机TCAM特点先容

差别型号数据中心交流机TCAM资源特征略有差别，大致分为两类：

盒式交流机TCAM资源分为VFP ACL TCAM资源、IFP ACL TCAM资源、EFP ACL TCAM资源三种，这三种资源是自力分派的不可共享使用。在盒式交流的IFP ACL TCAM资源中，Slice从使用上差别分为通俗Slice和预留Slice两种。通俗Slice可以通过两个相邻Slice（偶数最先）拼接形成Double Slice使用，知足更长匹配域的营业；预留Slice不支持拼接，只能以Single Slice方法保存，并且只能提供应部分营业或部分TCAM模式下有举行妄想的营业使用，使用预留Slice的营业只能支持Single Slice（单宽）。关于盒式交流机一样平常前N个Slice为预留Slice，N即是Slice总数除以3（例如盒式交流机RG-S6510-48VS8CQ交流机的IFP ACL一共12个Slice，预留Slice则一共4个，Slice0-Slice3）。VFP ACL TCAM资源和EFP ACL TCAM资源目今没有预留Slice，所有为通俗Slice。

框式交流机TCAM资源分为IFP ACL TCAM资源、EFP ACL TCAM资源两种，与盒式交流机保存差别的是框式交流机的IFP ACL TCAM资源、EFP ACL TCAM资源两种资源是共享分派的。在框式交流机中，保存两个小Slice（前两个Slice）为预留Slice，与盒式交流机差别，该预留Slice可以举行拼接，即该预留Slice可以支持Single Slice（单宽）和Double Slice（双宽）营业，但同样保存使用限制，该预留Slice只能给特定的营业使用。

97国际·(中国区)集团官方网站

使用TCAM资源的营业先容

数据中心交流机支持许多使用ACL的营业，这些使用ACL的营业并不是都使用TCAM资源，好比VTY下挪用的ACL实现装备登录控制功效就不会使用TCAM资源，下表列出了使用TCAM资源的常用营业供列位读者参考。

97国际·(中国区)集团官方网站

差别的营业在使用TCAM资源时是以Slice为维度的。相同营业可以使用统一Slice资源，大部分差别营业不可使用统一Slice资源，即大大都情形下统一个Slice只能存放一个类型的营业，好比一个Slice已经存放SECURITY营业（接口下使用ACL）的资源，那么它就不可在存放PBR营业（战略路由营业）的资源，PBR营业必需存放在另一个Slice之中，纵然存放SECURITY营业的Slice尚有空余空间。(部分营业在特定的TCAM模式下举行了整合，整合后的营业可以占用相同的Slice资源，但营业上保存一定的优先级限制)

以上营业除了CPP营业外其余都是在设置该营业后才会使用TCAM资源。CPP营业通过标准的QOS差分服务模子实现装备CPU的�；�，在装备启动后默认开启且不支持关闭。故在空设置情形下装备启动后，默认CPP营业已使用TCAM资源。

TCAM运维要领

数据中心交流机TCAM使用情形审查与剖析

在数据中心交流机上可以通过“show acl res”下令审查Slice资源使用情形汇总，包括Slice的数目，每个Slice的容量，每个Slice的使用情形及剩余情形等；通过“show acl res detail”下令可审查Slice资源的详细使用情形，包括每个Slice资源是哪个营业使用的、使用的是Single Slice照旧Double Slice、营业优先级等信息。

举例：审查盒式交流机(RG-S6510-48VS8CQ)TCAM资源使用情形

通过“show acl res”下令审查盒式交流机RG-S6510-48VS8CQ TCAM资源情形如下：其中VFP ACL TCAM资源上共包括4个Slice（Slice 0-Slice 3），每个Slice共256容量，总容量1024；IFP ACL TCAM资源上共包括12个Slice（Slice 0-Slice 11），其中4个预留Slice（Slice 0-Slice 3）和8个通俗Slice（Slice 4-Slice 11），每个Slice共768容量，总容量共9216；EFP ACL TCAM资源上共包括4个Slice（Slice 0-Slice 3），每个Slice共512容量，总容量2048。

97国际·(中国区)集团官方网站

通过“show acl res detail”下令审查盒式交流机RG-S6510-48VS8CQ TCAM资源详细使用情形如下：其中IFP ACL TCAM资源上，CPP营业占用一个Double Slice资源，使用Slice 10和Slice 11，SECURITY营业占用一个Single资源，使用Slice 4；在EFP ACL TCAM资源上，SECURITY营业占用一个Single资源，使用Slice 0。

97国际·(中国区)集团官方网站

举例：审查框式交流机(RG-N18000-X)TCAM情形

通过“show acl res”下令审查框式交流机RG-N18000-X TCAM资源情形如下：每板卡IFP ACL TCAM和EFP ACL TCAM资源共用，共包括14个Slice（Slice 0-Slice 13），其中2个预留Slice（Slice 0-Slice 1），每个Slice共128容量，12个通俗Slice（Slice 2-Slice 13），每个Slice共2048容量，总容量共24832。

97国际·(中国区)集团官方网站

通过“show acl res detail”下令审查框式交流机RG-N18000-X TCAM资源详细使用情形如下：CPP营业占用一个Double Slice资源，使用预留Slice空间Slice 0和Slice 1，CPP(v6)营业占用一个Double Slice资源，使用Slice 10和Slice 11，SECURITY(v6)营业占用一个Double Slice资源，使用Slice 12和Slice 13。

97国际·(中国区)集团官方网站

数据中心交流机TCAM模式审查与调解

上文中提到大部分差别营业不可使用统一Slice资源，数据中心交流机出厂TCAM模式为默认模式，在该模式下TCAM营业一样平常不会举行整合，差别营业不可使用在统一Slice资源，该模式下一个营业最少使用1个到2个Slice资源。TCAM模式提供了一种机制可以凭证差别场景选择响应的TCAM事情模式来让该场景下的部分营业可以使用统一Slice资源或者使用预留Slice资源，镌汰部分功效的Slice使用，从而增添可用的Slice资源。好比部分型号交流机ACL-MAX模式下，SECURITY营业和SECURITY-COUNT营业举行了整合，可使用统一Slice资源。

97国际·(中国区)集团官方网站

在数据中心交流机上可以通过“show tcam-mode status”下令审查装备运行的TCAM事情模式，审查包括目今装备运行的TCAM模式及装备重启后下一次运行时TCAM模式。若是需要调解装备的TCAM模式，可以通过“tcam-mode acl-max/acl-slices-all/vxlan/vxlan-hash/acl-default-vxlan-hash”下令调解，需要注重调解TCAM模式后需要生涯设置整机重启后才会生效。

TCAM应用与实践

TCAM资源评估建议

数据中心交流机TCAM资源评估因素：

Slice资源评估：在评估Slice资源时，除了需要评估Slice容量是否知足ACL条目，更需要关注的是Slice的数目能否知足营业的数目。上文提到大大都情形下统一个Slice只能存放一个类型的营业，现实使用历程中Slice容量尚有空余但没有新的完整的Slice给新的营业使用，这种情形是最容易造成TCAM资源缺乏的情形，请列位读者重点关注。

KEY资源评估：KEY是装备内部的一个处置惩罚引擎，用于给需要TCAM资源的营业分派TCAM资源。盒式交流机无需单独评估KEY资源，只需要评估Slice资源即可，Slice资源知足KEY资源也知足�？蚴浇涣骰谄拦繱lice资源后，需要单独评估KEY资源。（DUNE系列芯片的交流机需要评估KEY资源，12.X保存DUNE系列芯片的盒式交流机)

数据中心交流机TCAM资源评估要领：

评估Slice容量是否知足ACL条目数：

因ACL中ACE设置的多样性，差别ACE所使用的Slice容量差别，无法通过盘算得出，若是使用的ACL的ACE数目较多，建议将安排的营业设置到现实使用的数据中心交流机型号中举行验证，判断Slice容量是否知足ACL条目数。

评估Slice的数目能否知足营业所需的数目：

首先通过上小节所述营业的位宽与Slice的位宽举行比照的要领，评估使用的每项营业需要使用Single Slice照旧Double Slice；其次将所有营业使用的Slice相加获得“营业需要使用的Slice总数目”；最后凭证如下表格评估Slice的数目能否知足营业所需的数目。

在盘算“营业需要使用的总Slice数目”时需要注重，IPv4场景下装备默认CPP营业使用Slice资源需要盘算进去；IPv4和IPv6双栈场景下，装备默认CPP营业和CPP(v6)营业使用Slice资源需要盘算进去。

97国际·(中国区)集团官方网站

评估KEY资源是否知足需求：

盒式交流机无需单独评估KEY资源，只需要评估Slice资源即可。本小节只针对框式交流机，在评估KEY资源时，参照下表KEY资源数目，将一个KEY资源看成一个Slice凭证上小节“评估Slice的数目能否知足营业所需的数目”的要领举行评估。一样平常在IPv4/IPv6双栈的场景，若是泛起KEY资源缺乏的情形，可调解TCAM模式为ACL-MAX模式，ACL-MAX模式下IPv4 KEY资源和IPv6 KEY资源单独分派，可增大可用KEY资源。

97国际·(中国区)集团官方网站

TCAM资源缺乏案例分享

本小节将团结以上的内容给各人分享两个“TCAM资源缺乏的真实案例”资助各人更好的明确装备在给ACL分派TCAM资源时的底层逻辑。在泛起TCAM资源缺乏时，建议读者先凭证营业场景实验调解TCAM模式，调解TCAM模式后装备将自动整合该场景下常用营业的TCAM资源，调解后视察能否知足新营业TCAM资源的需求。若是调解TCAM模式后仍然保存TCAM资源缺乏的情形，建议整合现在使用的TCAM营业，举行一定的调解或者删除。

举例：盒式交流机(RG-S6510-48VS8CQ)Slice资源缺乏案例

在IPv4场景下的一台RG-S6510-48VS8CQ上安排了如下图所示的TCAM营业：

97国际·(中国区)集团官方网站

营业安排完成后在装备上审查TCAM资源的使用情形如下，IFP ACL TCAM资源共12个Slice包括4个预留Slice和8个通俗Slice，现在已使用1个预留Slice和6个通俗Slice。EFP ACL TCAM资源共4个Slice，现在已使用3个Slice。

97国际·(中国区)集团官方网站

营业使用Slice详细情形如下图所示，关于IFP ACL TCAM资源：QOS营业、PBR营业、PBM营业、SECURITY-COUNT营业均为Single Slice划分使用一个Slice；SECURITY营业和SECURITY-GBL营业共用一个Slice一共使用一个Slice；CPP营业为Double Slice使用两个Slice。关于EFP ACL TCAM资源：SECURITY营业、SECURITY-COUNT营业、QOS-CAR营业均为Single Slice划分使用一个Slice。 97国际·(中国区)集团官方网站

在以上营业基础上，因营业需要该装备需要开启IPv6功效并安排IPv6的接口ACL功效，详细安排功效如下：

97国际·(中国区)集团官方网站

在开启IPv6功效后默认CPP(v6)营业将使用Double Slice IFP ACL TCAM资源，预计将使用通俗Slice 8和Slice 9，接下来设置IPv6接口ACL营业，在接口下挪用IN偏向和OUT偏向的ACL时，装备都将泛起TCAM资源缺乏情形。由于此时IFP ACL TCAM还剩余3个预留Slice资源，SECURITY(v6)营业为Double Slice无法使用预留Slice资源；EFP ACL TCAM现在剩余1个Slice资源，SECURITY(v6)营业为Double Slice需要使用2个Slice资源，以是IFP ACL TCAM和EFP ACL TCAM都将Slice资源缺乏。

本装备原本使用IPv4单栈，在开启IPv6功效安排双栈后泛起TCAM资源缺乏的情形，审查上文中整理的各场景推荐安排的TCAM模式，在IPv4/IPv6双栈场景下推荐使用ACL-MAX模式，修改装备TCAM模式后举行重启。重启后装备已运行在ACL-MAX模式下，此时再次开启IPv6功效并安排IPv6的接口ACL功效，未在泛起TCAM资源缺乏的情形，此时审查装备的TCAM资源情形如图所示，CPP(v6)营业和SECURITY(v6)营业已正常使用TCAM资源。

97国际·(中国区)集团官方网站

此时营业使用Slice详细情形如下图所示，关于IFP ACL TCAM资源：QOS营业、CPP(v6)营业、PBM营业、PBR营业均为Single Slice划分使用一个Slice；SECURITY营业、SECURITY-GBL营业和SECURITY-COUNT营业共用一个Slice一共使用一个Slice；SECURITY(v6)营业和CPP营业为Double Slice划分使用两个Slice。关于EFP ACL TCAM资源：QOS-CAR营业为Single Slice使用一个Slice；SECURITY营业和SECURITY-COUNT营业共用一个Slice一共使用一个Slice；SECURITY(v6)营业为Double Slice使用两个Slice。

97国际·(中国区)集团官方网站

举例：框式交流机(RG-N18000-X)KEY资源缺乏案例

在IPv4/IPv6双栈场景下的一台RG-N18000-X上安排了如下TCAM营业：

97国际·(中国区)集团官方网站

营业安排完成后在装备上审查TCAM资源的使用情形如下，IFP ACL TCAM和EFP ACL TCAM资源共用14个Slice资源，包括2个预留Slice和12个通俗Slice，现在已使用2个预留Slice和5个通俗Slice�？蚴浇涣骰似拦繱lice资源还需要评估KEY资源使用情形，此时IFP ACL TCAM KEY资源共7个，已使用7个；EFP ACL TCAM KEY资源共2个，已使用0个。

97国际·(中国区)集团官方网站

在以上营业基础上，该装备新增IPv4的ERSPAN的功效，详细安排功效如下：

97国际·(中国区)集团官方网站

在设置IPv4的ERSPAN的功效时，装备将泛起TCAM资源缺乏的情形。由于此时装备的Slice资源是富足的，但在DEFAULT模式下IFP ACL TCAM的KEY一共7个，在新增ERSPAN设置时无多余的KEY资源可用，以是IFP ACL TCAM泛起KEY资源缺乏的情形。

一样平常在IPv4/IPv6双栈的场景，若是泛起KEY资源缺乏的情形，可调解TCAM模式为ACL-MAX模式，ACL-MAX模式下IFP ACL TCAM的KEY资源IPv4 和IPv6是单独分派，可增大可用KEY资源。修改TCAM模式并重启后装备已运行在ACL-MAX模式下，此时在开启IPv4的ERSPAN的营业后，未在泛起TCAM缺乏的情形，此时审查装备的TCAM资源情形如下图所示，PBM营业已正常使用TCAM资源。

97国际·(中国区)集团官方网站

总结

本文共三篇章七个小节，从TCAM简介、TCAM运维要领和TCAM应用与实践三个方面为读者先容了97国际数据中心交流机ACL营业TCAM资源的评估要领。本文先容理论适用于大部分数据中心交流机，差别型号装备保存一定差别，因篇幅缘故原由不可面面俱到请列位读者体贴。故在评估TCAM资源使用情形时，作者强烈建议一定要将安排的营业设置到现实使用的数据中心交流机型号中举行验证，以最终验证效果为准。

关注97国际