隨著FPGA在數(shù)據(jù)中心加速和Smart NIC在SDN和NFV領(lǐng)域的廣泛應(yīng)用,，基于以太網(wǎng)接口的FPGA開發(fā)板越來越受到關(guān)注,。而更高速率的以太網(wǎng)接口技術(shù)則是應(yīng)用的關(guān)鍵，本文將詳細介紹基于FPGA的10G以太網(wǎng)接口的原理及調(diào)試技術(shù),。

1、10G以太網(wǎng)結(jié)構(gòu)

10G以太網(wǎng)接口分為10G PHY和10G MAC兩部分,。如下圖所示,。

本設(shè)計中使用了Xilinx公司提供的10GEthernet PCS/PMA IP核充當連接10GMAC的PHY芯片，然后將該IP核約束到光模塊上構(gòu)建完整的物理層,。需要說明的是本設(shè)計主要是完成以太網(wǎng)二層邏輯設(shè)計,，不涉及PHY層的邏輯設(shè)計，如：bit同步,、字節(jié)同步,、字同步、64b/66b編解碼等,。

2,、10G以太網(wǎng)接口PHY

10G EthernetPCS/PMA的整體結(jié)構(gòu)如圖5.2所示，其核心是基于RocketIO GTH/GTX來實現(xiàn)的,。從圖中可知,，該模塊分為PCS層和PMA層，對于發(fā)送數(shù)據(jù),，PCS層主要功能是對數(shù)據(jù)進行64B/66B編碼,、擾碼、發(fā)送變速等功能,。同時在測試模式下還提供了一個測試激勵源,，用于對鏈路進行檢測。PMA層的主要功能是提供并串轉(zhuǎn)換,、對串行信號進行驅(qū)動并發(fā)送等功能,。對于接收數(shù)據(jù)，PMA層的主要功能是將接收到的高速差分信號進行串并轉(zhuǎn)換,、bit同步,、時鐘恢復等功能,，PCS層對于從PMA層接收到的數(shù)據(jù)進行塊同步、解擾碼,、64B/66B解碼,、彈性緩存等。同時在測試模式下還提供測試激勵檢測功能,，用于檢測鏈路工作狀態(tài),。

在接口調(diào)試過程中，可能用到PMA層的近端環(huán)回和遠端環(huán)回功能,。PMA近端回環(huán),，用于測試IP核內(nèi)部自回環(huán)；PMA遠端回環(huán),，用于將接收到的遠端10G PHY發(fā)送的的數(shù)據(jù)在PMA層直接回環(huán)發(fā)送給遠端10G PHY,，而不經(jīng)過本地的PCS層。

3,、10G以太網(wǎng)接口時鐘布局設(shè)計

由于10G Ethernet PCS/PMA是Xilinx官方提供的一款I(lǐng)P核,，所以我們需要做的工作是結(jié)合開發(fā)板的實際情況，為該IP核以及其他模塊設(shè)計合理的時鐘電路,，使其能夠正常工作,。本文選用Xilinx VC709開發(fā)板作為上板調(diào)試的硬件平臺，因此我們的時鐘布局需要充分考慮此開發(fā)板的結(jié)構(gòu)來設(shè)計,，具體的時鐘布局如圖5.3所示,。

由于VC709開發(fā)板連接光模塊的Quad并沒有直接輸入的參考時鐘，而是連接到一對SMA接口,，因此我們將156.25Mhz晶振產(chǎn)生的時鐘經(jīng)過FPGA內(nèi)部的IBUFDS,、OBUFDS驅(qū)動后輸出到另一對SMA接口，并通過同軸電纜將兩對SMA接口互聯(lián),，從而使連接光模塊的Quad具有輸入?yún)⒖紩r鐘,。

對于FPGA內(nèi)部的時鐘布局主要分為以下4部分：

（a）輸入的差分參考時鐘經(jīng)過一個參考鐘專用緩存（IBUFDS_GTE2）變?yōu)閱味藭r鐘refclk，然后將refclk分為兩路,，一路接到QPLL（QuadraturephasePhase Locking Loop）,，另一路時鐘經(jīng)過一個BUFG后轉(zhuǎn)變?yōu)槿謺r鐘coreclk，繼續(xù)將coreclk分為兩路,，一路作為10G MAC核XGMII接口的收發(fā)時鐘（xgmii_rx_clk和xgmii_tx_clk）,，另一路用于驅(qū)動10G Ethernet PCS/PMA IP核內(nèi)部用戶側(cè)的邏輯。

（b） 對于QPLL輸出的兩路時鐘qplloutclk和qplloutrefclk,，主要是用于IP核內(nèi)GTH收發(fā)器使用的高性能時鐘,，其中qplloutclk直接用于驅(qū)動GTH內(nèi)發(fā)送端的串行信號，其頻率為5.15625GHz,。qplloutrefclk用于驅(qū)動GTH內(nèi)部部分邏輯模塊,，頻率為156.25MHz,。

（c） txoutclk是由10G Ethernet PCS/PMA IP產(chǎn)生的一個322.26MHz的時鐘，該時鐘經(jīng)過BUFG后分為兩路,，其中txusrclk用于驅(qū)動IP核內(nèi)GTH的32bits總線數(shù)據(jù),，txusrclk2用于驅(qū)動IP核內(nèi)PCS層部分模塊。

（d）200MHz的晶振產(chǎn)生差分時鐘輸入到FPGA內(nèi)的PLL（Phase LockingLoop）模塊,，PLL模塊以200MHz差分鐘為驅(qū)動時鐘生成192MHz用戶鐘（sys_clk）發(fā)送給10G MAC核用戶側(cè),。

4、仿真驗證

在本節(jié)中我們主要是對10G MAC核和10G Ethernet PCS/PMA IP核進行聯(lián)合仿真測試,，用于檢測兩個模塊結(jié)合后能否穩(wěn)定運行,。具體的測試原理如圖5.4所示。

將10G Ethernet PCS/PMA IP核的高速串行差分信號的輸入輸出相連,，實現(xiàn)回環(huán)測試,。我們在10G MAC核的用戶側(cè)的設(shè)置一個數(shù)據(jù)源用于發(fā)送數(shù)據(jù)幀，數(shù)據(jù)經(jīng)過MAC核后轉(zhuǎn)變?yōu)闃藴室蕴W(wǎng)幀,，通過XGMII接口發(fā)送到10G Ethernet PCS/PMA IP核,，10G Ethernet PCS/PMA IP核將其變?yōu)楦咚俅胁罘中盘栞敵觯咚俅胁罘中盘柦?jīng)過回環(huán)被10GEthernet PCS/PMA IP核接收,，重復上述過程的逆過程，最終數(shù)據(jù)在10G MAC核的用戶側(cè)接收接口被恢復,。本測試具體分為3個步驟：定長最短幀（64Bytes）仿真測試,、定長最長幀（1518Bytes）仿真測試、隨機幀長仿真測試,。在每一個測試步驟中,，我們要盡可能模擬10Gbps的業(yè)務(wù)流。對于數(shù)據(jù)的檢測,，我們不但要對比波形是否正確,，還要將10GMAC核用戶側(cè)的收發(fā)數(shù)據(jù)分別記錄到兩個文檔內(nèi)，并使用軟件對兩個文檔內(nèi)的數(shù)據(jù)對比來判斷收發(fā)數(shù)據(jù)是否一致,。由于篇幅限制,，我們只給出定長最短幀的仿真結(jié)果截圖。

圖5.5 定長最短幀仿真圖

隨著以太網(wǎng)接口速率的提升,，10G,、20G、40G甚至100G的以太網(wǎng)接口應(yīng)用越來越廣泛,，具體來講主要有兩個關(guān)鍵的應(yīng)用領(lǐng)域,。

1、數(shù)據(jù)中心加速,。

在一些數(shù)據(jù)中心采用10G或者更高速率的以太網(wǎng)接口加FPGA的模式,，可以在數(shù)據(jù)進入到服務(wù)器之前采用硬件的方式進行快速的處理,，降低服務(wù)器CPU的負荷，見本公眾號之前文章：深度 | 如何評價微軟在數(shù)據(jù)中心使用 FPGA ,？,；

2、SDN/NFV

把上面的應(yīng)用場景擴展一下,，就可以把帶有FPGA的以太網(wǎng)卡用來降低各種各樣場景下的CPU負荷,，目前較為流行的概念是SMART NIC即智能網(wǎng)卡，其核心是通過FPGA(現(xiàn)場可編程門陣列)協(xié)助CPU處理網(wǎng)絡(luò)負載,，編程網(wǎng)絡(luò)接口功能,，具有以下特征：

通過FPGA本地化編程支持數(shù)據(jù)面和控制面功能定制，協(xié)助CPU處理網(wǎng)絡(luò)負載,；

通常包含多個端口和內(nèi)部交換機,，快速轉(zhuǎn)發(fā)數(shù)據(jù)并基于網(wǎng)絡(luò)數(shù)據(jù)包、應(yīng)用程序套接字等智能映射到到相關(guān)應(yīng)用程序,；

檢測和管理網(wǎng)絡(luò)流量,。

Smart NIC能夠提升應(yīng)用程序和虛擬化性能，實現(xiàn)軟件定義網(wǎng)絡(luò)（SDN）和網(wǎng)絡(luò)功能虛擬化（NFV）的諸多優(yōu)勢,，將網(wǎng)絡(luò)虛擬化,、負載均衡和其他低級功能從服務(wù)器CPU中移除，確保為應(yīng)用提供最大的處理能力,。與此同時,，智能網(wǎng)卡還能夠提供分布式計算資源，使得用戶可以開發(fā)自己的軟件或提供接入服務(wù),，從而加速特定應(yīng)用程序,。

目前業(yè)界提供基于FPGA的Smart NIC的廠商包括Accolade、BittWare,、Enyx,、Ethernity、Napatech,、Netcope,、Reflex CES、Silicom和Solarflare,，通常集成自Intel或Xilinx的FPGA來實現(xiàn),。此外，Broadcom,，Cavium,，Intel，Kalray,，Mellanox,，Netronome,，Silicom和SolidRun均可提供基于處理器的Smart NIC，使用帶有集成處理器內(nèi)核或FPGA的處理器或智能I/O處理器,；亞馬遜和谷歌已經(jīng)開發(fā)了Smart NIC ASIC,。