網(wǎng)絡(luò)應(yīng)用性能測試指標要如何評估？

翻到一篇以前寫的舊文，可以回答這個問題。

在當前的下一代防火墻產(chǎn)品測試過程中，網(wǎng)絡(luò)應(yīng)用性能測試已經(jīng)得到了充分的重視。然而在產(chǎn)品適用性分析上還有很大的不足。用戶不清楚如何對產(chǎn)品各種應(yīng)用性能指標進行理性的辨別，只能以性高則優(yōu)的方式去進行選擇。廠商也因此，不得不陷入產(chǎn)品性能價格比拼殘酷競爭之中。如何擺脫性價比之爭，令產(chǎn)品選擇回歸理性？這就需要一個由應(yīng)用到適用的轉(zhuǎn)變。

什么是適用評估

在以往的網(wǎng)絡(luò)產(chǎn)品測試中，我們僅關(guān)注網(wǎng)絡(luò)產(chǎn)品的處理性能，而缺乏對用戶網(wǎng)絡(luò)應(yīng)用需求的分析。因此在實際應(yīng)用過程中，常會出現(xiàn)采用高性能產(chǎn)品成本增加，低價格產(chǎn)品適用能力不足的情況；高性能低價格的產(chǎn)品也有，可往往又會有產(chǎn)品質(zhì)量隱患出現(xiàn)的問題出現(xiàn)。因此，用戶采購網(wǎng)絡(luò)產(chǎn)品時，往往需要大費心力。要想緩解此類情況，理想的辦法，就是讓廠商主動將其網(wǎng)絡(luò)產(chǎn)品的適用性做一下評估。

什么是網(wǎng)絡(luò)產(chǎn)品適用性評估？簡單說，就是找到用戶網(wǎng)絡(luò)產(chǎn)品處理性能可忍受的底線，并以此為基準，對網(wǎng)絡(luò)產(chǎn)品處理性能進行分析。舉個較常見的例子：當對一條接入寬帶的服務(wù)質(zhì)量做適用性評估時，首先我們需要對接口帶寬的數(shù)據(jù)包轉(zhuǎn)發(fā)性能評估，看其是否可以在滿足正常數(shù)據(jù)轉(zhuǎn)發(fā)時，對帶寬流量不產(chǎn)生影響。其次，對連接處理能力進行分析，了解其可以滿足多少用戶同時使用，連接處理不產(chǎn)生瓶頸。這只是對網(wǎng)絡(luò)產(chǎn)品，對網(wǎng)絡(luò)安全產(chǎn)品，適用性評估需要考慮的問題會更多。

適用評估要如何進行

也許有人會存有疑問，這些種分析看起來并不復(fù)雜，以前沒有人在做嗎？在這里十分遺憾的告訴大家，至少是沒有很好的去做。為什么？因為目前為止，還沒有一個較通用的網(wǎng)絡(luò)適用性評估標準。目前為止，我也只是在個別大廠商的產(chǎn)品評測中，試著去進行一下產(chǎn)品適用性的評估分析，但這還遠未達到生成一套普遍認可的網(wǎng)絡(luò)適用標準的地步。而且用戶網(wǎng)絡(luò)應(yīng)用的需求又是因人而異，并隨應(yīng)用變化面變化。因此網(wǎng)絡(luò)適用性標準的建立舉步維艱！

那么我們就不去做適用性評估了嗎？不，飯要一口口的吃，事要一件件的去做。想當年網(wǎng)絡(luò)應(yīng)用性能測試的各項指標，也是從無到有，從一份報告一個廠商開始，逐漸在廠商和用戶中普及并得到認可。現(xiàn)在網(wǎng)絡(luò)適用性評估，只要我們堅持不懈，相信也會有普及的一天。我現(xiàn)階段的工作計劃如下：

由于下一代防火墻的各項功能指標在網(wǎng)絡(luò)層及應(yīng)用層中均有覆蓋，非常具有代表性。因此計劃通過下一代防火墻測試方法的研討，并與相關(guān)測試儀表廠商和產(chǎn)品廠商進行溝通，對下一代防火墻的適用性評估技術(shù)指標項目進行制定，并明確每個指標的具體測試方法。再通過廣泛接觸廠商及最終用戶的方式，對適用性評估的媒體評估標準進行確定。期望通過若干次的試定修改，相信會有一個比較成熟的網(wǎng)絡(luò)適用性評估方案可以出臺。

適用評估方法

現(xiàn)在，就根據(jù)以往的測試經(jīng)驗，將需要評估的技術(shù)指標進行一下羅列：

具備下一代防火墻產(chǎn)品的廠商眾多，各個廠商的下一代防火墻功能也不盡相同。為了方便統(tǒng)一、規(guī)范化的進行分析，現(xiàn)在計劃通過網(wǎng)絡(luò)層適用評估、傳輸層適用評估、應(yīng)用層管理控制適用評估、應(yīng)用層深度內(nèi)容分析適用評估這四個方向，對下一代防火墻的適用性進行分析。

網(wǎng)絡(luò)層適用評估

基于網(wǎng)絡(luò)層數(shù)據(jù)包的轉(zhuǎn)發(fā)管理控制測試，可以說是最基礎(chǔ)的網(wǎng)絡(luò)測試項目。RFC 2544的相關(guān)測試項至今依然適用，只不過測試項目已精減到了目前的吞吐量和時延這兩項而已。

網(wǎng)絡(luò)層適用評估適用于下一代防火墻產(chǎn)品中的傳統(tǒng)防火墻功能、路由轉(zhuǎn)發(fā)功能、NAT以及透明模式下網(wǎng)絡(luò)接口數(shù)據(jù)包轉(zhuǎn)發(fā)性能評估。評估指標項目前暫定為吞吐量和時延。

吞吐量

有關(guān)吞吐量的適用評估，我在思科的ASA 5500X防火墻測試中進行了一次分析，這里就不再贅述了，有興趣請參閱評測文章“演進中的下一代”中“穩(wěn)健可靠的網(wǎng)絡(luò)傳輸”http://test.cnw.com.cn/test-report/htm2013/20131112_286063_2.shtml中的相關(guān)描述。

在那里，我依據(jù)思科反饋的在不同應(yīng)用場景下數(shù)據(jù)包平均大小統(tǒng)計，將吞吐量指標的合格線定在了512Byte時吞吐量達到或接近100%即可滿足用戶應(yīng)用需求。下一步將依據(jù)此項評估指標再與其它下一代防火墻廠商和用戶進行溝通，收集更多應(yīng)用需求后再次進行確定。

時延

從我個人應(yīng)用體驗來看，數(shù)據(jù)鏈接建立的最大時延只要不超過1000毫秒（1秒），基本上可以忍受，但在數(shù)據(jù)傳輸時的平均時延就不同了，最好在1毫秒以下否則數(shù)據(jù)傳輸速率會受到較大影響。現(xiàn)在進行測試時，時延所采用的數(shù)值通常時整個數(shù)據(jù)傳輸過程中所有數(shù)據(jù)包傳輸?shù)囊粋€平均值，這里時延指標的高下就有一些參差不齊了。個人感覺，平均時延如果能在50毫秒以下，應(yīng)用時應(yīng)該不會有太多傳輸問題出現(xiàn)。當然，時延的指標還是越小越好，具體指標同樣還需要繼續(xù)與廠商進行溝通。

傳輸層適用評估

在實際網(wǎng)絡(luò)應(yīng)用中，一個傳輸層連接內(nèi)有多個應(yīng)用連接，或一個應(yīng)用會發(fā)起多個傳輸層連接的情況均十分常見，因此以往的應(yīng)用性能測試中，傳輸層應(yīng)用性能測試項目常常被忽略，或與應(yīng)用層處理性能相混淆。而隨著下一代防火墻連接管理控制功能逐步受到重視，以及未來SDN交換設(shè)備的大規(guī)模應(yīng)用，此項測試的重要性也將得以突顯。

以往對傳輸層性能測試的方法也與應(yīng)用層測試差別不大，都是采用應(yīng)用層的網(wǎng)絡(luò)測試儀表，通過建立TCP協(xié)議傳輸通道的方式來考查被測設(shè)備的傳輸層連接建立能力和連接保持能力（TCP新建連接和TCP并發(fā)連接）。這里就會出現(xiàn)一個問題，當前網(wǎng)絡(luò)及網(wǎng)絡(luò)安全產(chǎn)品傳輸層的處理能力在顯著提升，而測試儀表的測試性能開始出現(xiàn)瓶頸。前些時間接到一個測試，一個1U網(wǎng)絡(luò)產(chǎn)品，傳輸層的處理性能（數(shù)百萬的新建性能！）預(yù)計需要4-5臺高性能應(yīng)用層測試儀表才可能滿足測試需求。這種情況的出現(xiàn)，不但為測試機構(gòu)，同樣也為廠商對產(chǎn)品的性能驗證提出了更大的挑戰(zhàn)。可以預(yù)計，當未來SDN交換機產(chǎn)大規(guī)模出現(xiàn)后，如果傳輸層測試方法沒有很好改善，將會有更多的相關(guān)測試問題出現(xiàn)。

為改善這種被動情況，必需對測試方法進行改進。在這里我準備與測試儀表廠商（思博倫和IXIA）進行進一步溝通，試著采用網(wǎng)絡(luò)層測試儀表在數(shù)據(jù)包中加入UDP頭信息的方式對傳輸層處理性能進行驗證。然而這里會牽扯到連接協(xié)議建立是否完整的問題，還需要再進一步與廠商就測試方法進行溝通驗證。

下面就傳輸層適用評估指標進行一下分析：

TCP（或UDP）新建連接

有關(guān)傳輸層適用性的評估指標，根據(jù)我個人總結(jié)的情況來看，在傳輸層連接建立能力（TCP或UDP新建連接）指標評估時，單用戶（每IP）最低可忍受1Mbps帶寬、每秒鐘建立10個傳輸層連接的新建連接處理性能。因此，就暫將單用戶（每IP）1Mpbs帶寬、每秒10TCP（或UDP）新建連接做為傳輸層新建連接的適用層評估指標

TCP（或UDP）并發(fā)連接

同樣還是當前我個總結(jié)情況，每個用戶（每IP）最少保持100個TCP（或UDP）連接既可保單個用戶的最小網(wǎng)絡(luò)應(yīng)用需求。

在今后參與廠商具體產(chǎn)品測試過程中，我還將根據(jù)具體情況對此指標進行進一步修訂，并以此為基準對廠商產(chǎn)品傳輸層處理能力進行評估分析。

應(yīng)用層適用評估

下一代防火墻最重要的轉(zhuǎn)變就是具備了網(wǎng)絡(luò)應(yīng)用行為分析能力，在未來勢必因此而引發(fā)網(wǎng)絡(luò)安全防護的重大變革。相關(guān)分析可參考我的另一篇下一代防火墻分析及測試方法探討文章“網(wǎng)絡(luò)安全能否做到夜不閉戶”。（http://test.cnw.com.cn/test-news/htm2014/20140826_311052.shtml）而應(yīng)用性能自然也成為用戶選擇下一代防火墻產(chǎn)品的關(guān)注重點。

根據(jù)目前所掌握情況來看，下一代防火墻產(chǎn)品的應(yīng)用層性能測試，還沒有類似傳輸層測試儀表性能瓶頸的情況出現(xiàn)。但并不是說現(xiàn)在的應(yīng)用性能測試項目就可以滿足下一代防火墻功能測試需求。理由有以下兩點：

一、單一應(yīng)用協(xié)議對應(yīng)用處理性能無法全面評估

目前傳統(tǒng)應(yīng)用層性能測試僅通過HTTP一種應(yīng)用協(xié)議進行應(yīng)用處理性能測試。無法全向?qū)?yīng)用識別、行為分析管理等下一代防火墻功能進行有效評估。尤其是在某些廠商“研發(fā)”出一些針對此類協(xié)議“優(yōu)化”的技術(shù)后，在測試中無法有效進行判別。

二、混合應(yīng)用流量協(xié)議不規(guī)范

十年前開始進行網(wǎng)絡(luò)應(yīng)用性能測試時，應(yīng)用協(xié)議模擬數(shù)量少，而且其它協(xié)議（FTP、SMTP等）所占應(yīng)用比例也小，因此HTTP協(xié)議的應(yīng)用性能測試就逐漸成為了主流。而現(xiàn)在隨著應(yīng)用性能測試方法的增加，對應(yīng)用協(xié)議也已經(jīng)可以有較全面的模擬，目前已有測試儀表廠商甚至在提儀修改RFC3511的應(yīng)用性能測試標準，增加混合應(yīng)用流量測試的新方法。對于這點我肯定是會舉雙手贊成的。但在這個標準出臺之前，還是再和測試儀表廠商協(xié)商一下相關(guān)測試方法的事情吧。不過舊指標不是一下就可以輕易拋棄的，通過HTTP協(xié)議來測試產(chǎn)品的應(yīng)用處理能力在現(xiàn)階段還是可以有效反映產(chǎn)品應(yīng)用處理性能的。

下面就應(yīng)用層適用評估指標進行一下分析：

HTTP新建連接

由于傳輸層協(xié)議已經(jīng)把管道的數(shù)量進行了限制，在這個管道里再跑什么應(yīng)用也就是下一代防火墻再做一下深入分析的事情了。因此HTTP新建連接的適用性評估指標目前也定在了單用戶（每IP）1Mpbs帶寬、每秒10 HTTP新建連接。

并發(fā)連接數(shù)

同上，目前也是定在每個用戶（每IP）最少保持100個HTTP連接。

應(yīng)用流量

從當前下一代防火墻產(chǎn)品功能性分析上來看，只有在下一代防火墻進行深度內(nèi)容識別（例如開啟IPS、文件內(nèi)容檢測或防病毒功能）時，才會對應(yīng)用文件內(nèi)容去進行分析。這時，應(yīng)用流量的性能評估才會有意義，否則通過網(wǎng)絡(luò)層數(shù)據(jù)包轉(zhuǎn)發(fā)性能對流量轉(zhuǎn)發(fā)性能進行測試就足以了。

而對傳統(tǒng)的應(yīng)用流量轉(zhuǎn)發(fā)性能測試時，測試方法單一、死板。同樣也是僅采用HTTP這單一協(xié)議，在一定HTTP新建連接速率下，加載一個固定大小文件來生成一個較大測試流量。從上次下一代防火墻測試中可以了解，這種測試方法已經(jīng)無法滿足當前產(chǎn)品在進行深度內(nèi)容識別時，流量處理能力的測試需求。

現(xiàn)在測試儀表廠商有兩種不同的新應(yīng)用流量測試方案。一種是采用抓包回放的方式模擬真實網(wǎng)絡(luò)流量，一種是用測試儀表直接生成多種應(yīng)用協(xié)議測試流量。這兩種方法各有利弊，抓包回放數(shù)據(jù)流與真實應(yīng)用情況相近，但生成大流量比較困難；測試儀表生成多種應(yīng)用協(xié)議測試流量可以滿足，但應(yīng)用文件內(nèi)容定制不便。看來此項測試還需要再和測試儀表廠商多多進行溝通才可以有一個比較明確的測試方法出臺。

明確應(yīng)用需求 保住適用底線

以上適用評估測試方法，很多是很早以前就有的，在這里反復(fù)炒冷飯的原因就是，通過適用性的基礎(chǔ)指標乘上使用人數(shù)，用戶可以輕易了解，自身對網(wǎng)絡(luò)設(shè)備的實際應(yīng)用需求。從而可以更加明確的去選擇產(chǎn)品。

對于產(chǎn)品廠商也同樣是如此，廠商提供設(shè)備的網(wǎng)絡(luò)應(yīng)用處理能力在這條低線之上，即可保障用戶最起碼的網(wǎng)絡(luò)正常應(yīng)用。當然用戶經(jīng)濟能力以及廠商技術(shù)能力允許，也可以選用性能更高、處理能力更強的產(chǎn)品來對網(wǎng)絡(luò)業(yè)務(wù)應(yīng)用處理能力再進行提升。

我也會在以后的產(chǎn)品測試報告中，同樣引入適用性的指標對廠商產(chǎn)品性能進行評估。從而選出更加適合用戶選用的優(yōu)質(zhì)產(chǎn)品出來以供大家選擇。

本文來自科技行者團隊老董