tokenring

详细解析FCoE协议

FCoE标准是博科⾸先提出来的。FCoE是由包括Brocade、IBM,HP,EMC,NetApp,Cisco,Emulex,Broadcom,Intel,Nuova,QLogic,and

Sun⼚商所共同⽀持与贡献T11标准委员会的协议。协议的具体内容是指FCoE直接在增强型⽆损以太⽹基础设施上传输光纤信道信号的功

能的协议。FCoE可以提供标准的光纤通道原有的多种服务如发现、全局名称命名、分区等，⽽且这些服务都可以照标准原有的运作，保有

FC原有的低延迟性、⾼性能。FCoE采⽤增强型以太⽹作为物理⽹络传输架构，能够提供标准的光纤通道有效内容载荷。因此，⼚商也已经

开发了针对⽆损10Gb以太⽹的数据中⼼架构。⽽此以太⽹标准被称为“聚合增强型以太⽹（CEE）”，可以避免类似TCP/IP协议的开销和数

据包损失。

在过去的⼗年中，光纤通道作为存储局域⽹的⼀项连接技术取得了很⼤的成功。在这个过程中，光纤通道提供了⼴泛的全新存储解决⽅案，

包括更好的块传送性能，⾼可⽤性的存储存取，先进的数据中⼼备份及数据保护，基于虚拟化的⾼层存储服务以及⾼级管理⼯具。不过在近

⼏年中，总是有各种各样的新兴技术，例如InfiniBand、NAS和iSCSI，不时地引发⼈们对于光纤通道(FibreChannel，简称FC)发展未来的

争论。

要不是能够推动成本或性能优势的发展，新技术很难取代已有的的成熟技术。例如，尽管令牌环(TokenRing)相较以太⽹有更⾼的性能

(16Mb/svs.10Mb/s)和更强的功能，但以太⽹依仗其规模经济优势在局域⽹传输领域上顺利取代了令牌环。相⽐较之下，ATM⽹络也⽆法取

代以太⽹成为桌⾯系统的连接标准，这主要是由于它⽆法与以太⽹庞⼤的安装基础相兼容。ATM的LANE(局域⽹仿真)实在存在太多问题。

尽管InfiniBand以⾼性能的服务器集群应⽤证明了它在⾼端⽤户中的价值，但是它⼀直⽆法在局域⽹或存储局域⽹传输上与其它技术相抗

衡。InfiniBand独特的布线⽅式和⾼速传输模式下的距离限制使得IT管理者们纷纷放弃⾼攀的念头。

作为存储业内著名的技术专家与出版了许多有关SAN技术书籍的作家，TomClark曾担任全球⽹络存储⼯业协会(SNIA)的理事与McDATA公

司解决⽅案和技术总监，现为博科(Brocade)公司技术市场部的⾸席⼯程师。TomClark拥有近⼆⼗年的系统⼯程和设计实践经验，⽽且掌握

⼴泛的数据通讯和联⽹专门技术。上图即为TomClark2005年来华主讲“存储⽹络虚拟化研讨会”后接收本站记者专访时照⽚(⼿中的书就是他

当年探讨存储虚拟化技术的新作)。

光纤通道作为⼀项成功的技术解决了许多与⾼性能数据块传输相关的难题。毕竟，光纤通道是⼀种模拟数据中⼼⼤型机环境的传输架

构。⼤多的传输通道往往都是以⾼带宽和低负荷为⼿段，在最⼤程度上实现数据中⼼环境中⼤量数据的⾼效传输。为了保持稳定⼀致的性

能，光纤通道借助包括Buffer-to-bufferCredit等在内的内部机制来降低⽹络阻塞的潜在影响。如果丢失⼀个帧，光纤通道不会像TCP⼀样马

上停⽌直到恢复丢失的帧，⽽是以数千兆的传输速率重新发送整个序列的帧。光纤通道拥有⼀系列领先的存储机制，例如⾃动寻址、设备发

现、光纤架构和状态变更通知等，这些机制为主机(服务器)和⽬标设备(存储系统)之间的交换处理提供了便利。

光纤通道也为⾼可靠和⾼可⽤性架构引进了⼀系列更⾼层的服务。光纤路由协议、基于策略的路由、基于硬件的中继、虚拟光纤⽹络、

光纤⽹络安全以及故障隔离等服务都成为了实现稳定传输的基础。针对存储虚拟化和数据保护所提供的，基于光纤⽹络的应⽤服务也进⼀步

促进了存储管理的简化及⾃动化。光纤通道标准和符合标准的产品均针对存储数据进⾏了优化，最⼤程度上提⾼了数据的性能和可⽤性。因

此，基于光纤通道的SAN为全球主要的企业和学院提供着强⼤的技术⽀持。

最近业内发布了⼀项新的光纤通道标准，以实现在以太⽹上运⾏光纤通道协议。这项名为FCoE(FibreChanneloverEthernet)协议希望

能在现有光纤通道的成功基础上，借助于以太⽹的⼒量重新保持⾃⾝在数据中⼼存储局域⽹中的霸主地位。⼀些业内分析⼈⼠表⽰，FCoE

是光纤通道⼚商与iSCSI阵营进⾏竞争的新尝试。毕竟iSCSI也是通过以太⽹传输数据存储块。然⽽当我们拿FCoE与iSCSI做⽐较时会发

现，实际上这两个协议解决是完全不同的问题。iSCSI通过TCP/IP协议在可能产⽣损耗或阻塞的局域⽹和宽带⽹上传送数据存储块。相⽐之

下，FCoE则只是利⽤了以太⽹的拓展性，并保留了光纤通道在⾼可靠性和⾼效率⽅⾯的优势。届时这些优势还将在10G以太⽹上有更好的

体现。我们⽬前暂且将其称为CEE(ConvergedEnhancedEthernet)。

FCoE并不是要代替传统的光纤通道技术，⽽是在不同连接传输层上对光纤通道进⾏拓展。正如图1所⽰，FCoE的价值在于在同样的⽹

络基础体系上⽤户有权利选择是将整个逻辑⽹络全部当成传输存储数据与信号的专⽤局域⽹，或是作为混合存储数据、信息传送、⽹络电

话、视频流以及其它数据传输的共⽤⽹络。FCoE的⽬标是在继续保持⽤户对光纤通道SAN所期望的⾼性能和功能性的前提下，将存储传输

融⼊以太⽹架构。FCoE还特别针对⼑⽚服务器平台提供了⼀种简化接⼝和布线的⽅法。

图⼀：在普通的以太⽹架构上⽀持多协议

FCoE⽬前已经正式提交给了管理光纤通道标准的官⽅组织--美国国家标准委员会(ANSI)T11委员会进⾏审批。并且会收录到新的

FibreChannelBackboneGeneration5(FC-BB-5)规范中。由于FCoE具备了新⼀代增强形以太⽹的众多优势，所以这项标准的审批需要与

管理以太⽹技术标准的美国电⽓与电⼦⼯程师协会(InstituteofElectricalandElectronicsEngineers，IEEE)保持密切合作

早期业内就在以太⽹存储协议的标准化⽅⾯做过很多努⼒，但限于当时百兆或千兆以太⽹性能⽽均未能如愿。例如在2001年，Nishan

Systems公司开发了针对局域⽹或数据中⼼的mFCP(metroFibreChannelProtocol)协议以及针对⼴域应⽤的Internet光纤通道协议(iFCP)。

mFCP⽀持在基于以太⽹的光纤通道上应⽤UDP和IP协议，但是mFCP中缺少TCP中其它的⽤于数据包恢复的协议。mFCP协议假设以太

⽹基础体系本⾝的设计已经可以避免⽹络阻塞，并且具备基本的流量控制机制将丢帧减到最低。如果确实发⽣了丢帧，mFCP协议将会借助

上层的光纤通道协议对适当的帧序列做出重传的回应。除IP路由层之外，mFCP协议的实际运作与光纤通道Class-3的未确认服务

(UnacknowledgedService)相类似。

尽管iFCP协议被⼴泛地应⽤于灾难恢复及其它远程存储应⽤，但由于10G以太⽹还在建设之中，所以mFCP⽆法在1Gb/s的速率下得很

好的效果。但mFCP的主要优点在于它可以整合以太⽹和光纤通道SAN，提⾼光纤通道协议栈的效率。

此外还有⼀些其它的⼩众协议试图将存储协议直接与以太⽹相结合，如AoE协议和HyperSCSI以太⽹存储协议。但这些技术标准仅限定

于低性能存储应⽤。例如HyperSCSI借助SCSI协议来验证和恢复传输错误，所以在数据中⼼领域缺乏光纤通道协议的优势。

基于以太⽹的蜕变

光纤通道和以太⽹传输都是使⽤的数据链路层协议(第⼆协议层)。在OSI七层模型中，第⼀协议层是传输⽹络信号的物理媒介，第⼆协

议层是成帧协议(FramingProtocol)，当上层协议处理⽹络路由和会话管理等更⾼层级服务时，本层协议会⽴即作⽤于下层介质。因为每个附

加协议层都会带来更多的协议处理和开销，所以第⼆协议层是从⼀个⽹络节点向另⼀个⽹络节点快速传输数据的最为快捷的途径。

光纤通道作为链路层传输协议，最初是专门被设计⽤来保证数据中⼼传输通道的⾼效率。这其中多⽅⾯原因的。⾸先，在千兆或数千兆

的速率下，⽹络需要⼀个流控机制来避免⽹络阻塞引起的丢帧问题。光纤通道借助Buffer-to-bufferCredit解决了流控制问题。⼀端设备只有当

接收⽅的缓冲区已清空并且发出接收准备信号((R_RDY))后才能发送附加帧。其次，光纤通道结构从本质上来说是⼀个独⽴的⼦⽹，专门处

理在数据中⼼内的主机与⽬标设备之间的数据通讯问题。尽管现在光纤通道有SAN到SAN交流的辅助路由能⼒，但光纤通道路由使⽤的是⽹

络地址转换协议(NetworkAddressTranslation，NAT)，⽽不是上⾯第三层的路由协议。

光纤通道技术在这⼏年时间中，发展出了很多更适⽤于存储需求的更⾼层功能。例如，基于每台光纤通道交换机都配备的简单域名服务

(SimpleNameService，SNS)，就为发起者寻找⽬标资源提供了设备发现机制。基于端⼝或WWN(WorldWideName)的分区实现了不同存

储单位间的彼此隔离，防⽌未授权服务器与特定存储资产之间通信。注册状态变化通告(Registeredstatechangenotifications，RSCNs)提供

了⼀种将服务器与存储⽹络中存储系统相链接的⽅式。通信重路由(FabricShortestPathFirst，FSPF)协议可在多台交换机架构下建⽴最佳

的路径。并允许多在多台交换机之间进⾏多重连接，以提⾼带宽。具备故障隔离的光纤路由实现了各个独⽴SAN间的资源共享。虚拟光纤⽹

络技术可以使不同部门或应⽤程序之间共享⼀个公共的SAN，⽽相互不受影响与限制。

为了保持此前光纤通道所具备的传输优势和以存储为中⼼的特征，FCoE需要对传统的以太⽹和相应的控制器进⾏重⼤的改进，以提供

设备发现、通知(Notification)、安全和其他⾼级存储服务。如果以太⽹可以满⾜数据中⼼的苛刻要求的话，那么通过以太⽹封装光纤通道帧

的FCoE协议就完全能够成为终端到终端传输(FCoE发起者与FCoE⽬标直接通信)或⽹关应⽤(FCoE发起者通过⽹关与光纤通道⽬标设备通

信)最简单直接的解决⽅法。但是为了使⽤户实施成为可⾏，那些光纤通道上的⾼级服务必须得到保留。

防⽌丢包

FCoE发展过程中所遇到的第⼀个挑战是将通过本地光纤通道的Buffer-to-bufferCredits特性所实现的流控制机制得以延续。虽然以太⽹

交换机没有相对应的缓冲到缓冲机制，但以太⽹标准可以通过⽀持MAC控制帧来调节流⼊的信息量。IEEE802.3x流量控制标准是基于暂停

帧流量控制技术的。这个技术会使得发送者后⾯的传输内容延迟⼀段特定的时间再发送，如果接收设备在这段时间过去之前清除缓冲，那么

它会重新发送暂停帧，同时将终⽌时间归零。这使发送者可以重新传送直⾄接收到另⼀个暂停帧。

因为FCoE机制必须⽀持存储数据的读写，所以所有⽹络存储路径下的终端设备和以太⽹交换机必须⽀持双向IEEE802.3x流控制。尽管

这样的效果可能不如Buffer-to-bufferCredits机制那么理想，但是IEEE802.3x暂停帧可以提供对应的功能性，来调节存储流量并防⽌阻塞和

缓冲区溢出引起的丢帧。

IEEE中的IEEE802.3ar阻塞管理研究⼩组和IEEE802.1au阻塞通知研究⼩组负责以太⽹阻塞问题的研究⼯作。特别是对于存储事务来

说，这有助于增强流控机制的服务层级质量，使得最关键的任务的数据流在可能发⽣阻塞的情况下获得最⾼优先权。

冗余路径和故障切换

光纤通道⾼可⽤性的特点主要是得益于其可提供的主机与⽬标设备之间冗余路径的Flat或CORE/EDGE的拓扑⽹络。从主路径到辅路径

的主机总线适配卡、链路、交换机端⼝、交换机或存储端⼝，其中任何⼀点发⽣故障就会引发整个⽹络的故障。在某些情况下，这两条路径

都是动态的并且兼备⾼性能和可⽤性。光纤通道架构中的光纤最短路径优先协议⽤来决定光纤交换机间传输的最佳路径，其判断基于交换机

的链路带宽与流量负荷。

以太⽹基础体系必须为FCoE提供相应的耐障碍性来保证存储访问的畅通⽆阻。当多以太⽹交换机通过交换机内链路(例如以完全⽹路拓

扑)连接时，IEEE802.1D快速⽣成树协议在⽹络上建⽴主路径，避免帧的发送形成⽆⽌境的环形回路。交换机之间的动态桥接端⼝处于推进

状态，⾮动态失效切换桥接端⼝处于阻塞状态。但由于阻塞的连接不能⽤于数据的传输，所以⽹路中的阻塞连接都表⽰未利⽤和闲置的资

源。快速⽣成树通过⽹桥协议数据单元来监控所有桥接端⼝的情况，如果连接、桥接端⼝或交换失效的话，快速⽣成树协议启动必要的失效

切换桥接端⼝，在⽹络上建⽴选择路径。

此外，IEEE802.1s多⽣成树协议(MultipleSpanningTreeProtocol，MSTP)和IEEE802.1Q-2003虚拟LAN(VLAN)技术定义了另外的增

强以太⽹路径切换的机制。与光纤通道的硬分区技术相类似，VLAN标记可实现多达4096个群集节点组共存于⼀个公共的以太⽹基础体系

内。在多业务传输平台上对⽣成树的增强可以使每个VLAN组中有⼀个单独的⽣成树。因此，⼀个虚拟局域⽹阻塞模式下的桥接端⼝可以调

节成另⼀个虚拟局域⽹的转发模式，并且实现对所有⽹络互连性更充分的利⽤。

即使有多业务传输设备的增强，已使⽤的⽹络连接仍不可避免地导致了快速⽣成树协议对转发和阻塞状态的依赖。越来越多复杂的第三

层路由协议，例如开放最短路径优先协议(OpenShortestPathFirst，OSPF)，在跳跃计数、带宽、延迟时间和其他测量标准的基础上选择末

端节点之间的最佳路径，并且实现多路径上的负载均衡。即时串流传输协议(RSTP)作为第⼆层协议⽆法⽀持这样的附加功能性⽽保持向后

兼容。需要设法找到将负载均衡、多点接⼊(例如⼀个节点有接⼊同⼀以太⽹⽹段的两条动态链路)、多播技术和⼴播技术引⼊第⼆层以太⽹

的⽅法。

从光纤通道到以太⽹的映射

FCoE也必须解决以太⽹和光纤通道各⾃所传输的帧之间的差异。通常⼀个以太⽹的帧最⼤为1518字节。⽽⼀个典型的光纤通道帧最⼤

为⼤约2112字节。因此在以太⽹上打包光纤帧时需要进⾏分段发送，然后在接收⽅进⾏重组。这会导致更多的处理开销，阻碍FCoE端到端

传输的流畅性。

因此需要⼀个更⼤的以太⽹帧来平衡光纤通道和以太⽹帧⼤⼩上的差异。有⼀个称为"巨型帧"的实质标准，尽管不是正式的IEEE标准，

但它允许以太⽹帧在长度上达到9k字节。在使⽤"巨型帧"时需要注意，所有以太⽹交换机和终端设备必须⽀持⼀个公共的"巨型帧"格式。

最⼤的巨型帧(9K字节)可以实现在⼀个以太⽹帧下封装四个光纤通道帧。但是这会使光纤通道连接层恢复以及应⽤802.3x暂停指令的缓

冲流量控制变得更加复杂。如图2所⽰，FCoE向⼀个巨型以太⽹帧内封装⼀个完整的光纤帧(不使⽤循环冗余校验)。因为以太⽹已经提供了

帧检验序列(FCS)来检验传输数据的完整性，所以不需要光纤帧的循环冗余校验(CRC)。这进⼀步降低了传输层所需的处理开销，同时提⾼

通道的性能。由于光纤帧可能包括拓展的、可选择的信头或虚拟光纤标记信息，所以以太⽹"巨型帧"的⼤⼩就不合适，并且会随着封装光纤

帧的需要⽽发⽣变化。

图2在以太⽹封装⼀个光纤帧

FCoE帧是使⽤六字节MAC硬件⽬的地址和源地址的本地第⼆层以太⽹帧。但MAC地址是存储透明的，并且只能⽤于从源到⽬的地帧的

交换。以FCoE帧中保留了存储事务中需要的光纤通道寻址，所以需要从FCID(FibreChannelID)到以太⽹MAC地址映射的⽅法。可以选择

⼀个与地址解析协议(ARP)相类似的协议来实现FCID到MAC的地址映射。例如，在第三层IP环境下，地址解析协议⽤于从上层IP⽹络地址到

第⼆层硬件MAC地址映射。此外，光纤通道使⽤⼀些较为熟知的地址来获得存储服务(例如通过SNS发现设备机制)。FCoE要求有相应的功

能性来完成从熟知的地址到对应MAC地址的映射。

在传统光纤通道中，HBA或存储端⼝在连接到以太⽹交换机时会接收FCID。FCoE设备⽆法确保通⽤以太⽹交换机提供专门的存储服

务，所以必须依靠可⽤于FCoE交换机内部的域控制器和存储服务引擎来提供光纤通道登陆、寻址和其它⾼级服务。未来的数据中⼼导向器

将会在⼀个⾼可靠性、多协议平台上将以太⽹、光纤通道和FCoE存储服务融合为⼀体。

FCoE、iSCSI和FCIP

FCoE、iSCSI和FCIP都是可以在以太⽹上进⾏块数据传输的存储协议。然⽽每⼀个当初都是以不同的⽬标和设计标准发展起来。由于

FCoE是由专门的数据中⼼存储协议发展⽽来，其中包含有FC和数据中⼼以太⽹协议。iSCSI是设计⽤来在包括局域⽹和⼴域⽹在内的任何

基于IP的系统上可靠地传输存储数据。如图3所⽰，iSCSI借助位于第三层的整个TCP/IP协议栈来实现路由和数据包恢复，所以iSCSI可以⽤

于可能存在潜在的⽹络带宽损耗。相⽐之下，FCIP被设计为⽤于远程连接FCSAN的隧道协议。象iSCSI⼀样，FCIP亦承担TCP/IP的处理开

销，因此它的设计不适合本地⾼性能数据中⼼应⽤。

图3以太⽹、光纤通道和iSCSI协议栈

iSCSI主要作⽤在于其经济性，发挥空闲的驱动器、以太⽹卡、以太⽹交换机和IP路由器，在服务器和存储之间传输SCSI数据块。尽管

服务器接⼊和⽹络基础系统成本较低，但是iSCSI存储⽬标成本会随着是否使⽤廉价磁盘驱动和是否配置基于硬盘或基于软盘的控制器⽽改

变。因为没有专门的本地iSCSI磁盘驱动，iSCSI⽬标必须依靠某种形式的协议桥接(从iSCSI到SAS/SATA或从iSCSI到FC)控制器来存储和

检索数据块。所以iSCSI并不等同于那些有时⽤于部门级FCSAN中的JBOD。

在1Gb以太⽹中，iSCSI不需花费很多就可实现通过⽹关将低性能的⼆级服务器整合到现有的数据中⼼的FCSAN中，或为部门使⽤提供

共享存储。但是在10G以太⽹中，iSCSI就渐渐失去了⼴泛宣扬的成本优势。在服务器上使⽤10G以太⽹意味着主程序要求⾼性能和可靠

性。尽管标准NIC卡可在10G下使⽤，但10G的iSCSI服务器通过例如TCP可卸载适配器等辅助设备来增强性能，并通过iSERlogic来避免从

接⼝到应⽤存储器的SCSI数据的多存储副本。设计精密的10GBiSCSI适配器增加了成本，但使iSCSI可以在主机上将CPU开⽀减到最低，

来更充分地利⽤更⼤的带宽。

总结

介于庞⼤的安装基础，早已成熟的光纤通道技术已经具备了众多的存储特性和管理⼯具，这⼤⼤利于对数据中⼼内的共享存储系统进⾏

各种配置。聚合增强以太⽹(CEE)技术使⽤户可以在公共以太⽹基础体系数据中⼼将存储、信息传送、⽹络电话、视频和其它数据结合在⼀

起。FCoE是实现以太⽹⾼效率块存储的组件技术。FCoE不是光纤通道的替代物⽽是光纤通道的拓展，并且将与光纤通道SAN共存。

因为FCoE是对以太⽹的进⼀步增强，所以它的发展需要光纤通道和以太⽹的技术专家和标准组织之间的相互协调。尽管流控制和以太

⽹⽣成树协议等连接层问题是⼀个重⼤的挑战，但是还需要提出更多的解决⽅案来继续保留⽤户正有效配置的光纤通道⾼级服务。即使是在

10G⽹络传输速率下，仍需要对今天的以太⽹技术进⾏深⼊研究以适合数据中⼼存储的应⽤。作为光纤通道架构技术的先驱，博科公司在保

留数据中⼼性能、可靠性和⾼级存储服务所提供的优势的同时，也向FCoE引⼊了专业技术以降低其他解决⽅案的复杂性。

关于作者

TomClark是博科公司技术市场部的⾸席⼯程师。作为市场、研发和⽤户之间沟通的重要桥梁，Tom专注于确保存储⽹络技术有效配置

的特性。他是全球⽹络存储⼯业协会成员、SNIA互操作委员会前任联合主席。他发表了许多有关存储⽹络的⽂章和⽩⽪书，其中有

DesigningStorageAreaNetworksSecondEdition(Addison-Wesley，2003)，IPSANs：AGuidetoiSCSI，iFCPandFCIPProtocolsfor

StorageAreaNetworks(Addison-Wesley，2001)，以及StorageVirtualization:TechnologiesforSimplifyingDataStorageand

Management(Addison-Wesley2005)。