通過測試自動化左移您的安全關鍵軟件測試

---

我們使用安全性至關重要的軟件面臨成本危機，這意味著所需的增強功能已經(jīng)超出了為其開發(fā)支付費用的能力。例如，波音787計劃需要650萬行代碼，設計、開發(fā)和測試成本為4,000,000,0000美元。重大安全關鍵項目的趨勢表明，總成本呈指數(shù)增長，其中軟件占開發(fā)總預算的比例逐年上升。使用先前項目中使用的相同技術，下一個大型航空航天項目可能會負擔不起。所以，我們能做些什么？

安全認證以及所需的測試和驗證是軟件開發(fā)預算的很大一部分。在利用自動化的同時，將軟件的測試向左移動（即，在軟件開發(fā)生命周期的早期）會在成本，風險和進度方面帶來很大的好處。下面的圖1顯示了用于商業(yè)航空公司軟件開發(fā)的每千行代碼的百萬美元成本（波音和空中客車公司的數(shù)據(jù)），清楚地表明了呈指數(shù)級增長。

圖1：民航項目中每行代碼的軟件開發(fā)成本。數(shù)據(jù)取自空中客車公司和波音公司的項目指標。

在何處創(chuàng)建和發(fā)現(xiàn)錯誤及其對成本的影響

毫不奇怪，大多數(shù)缺陷都是在開始時甚至在編寫第一行代碼之前就引入到項目中的。在測試過程中發(fā)現(xiàn)并修復了大多數(shù)錯誤，但是在產(chǎn)品被出售和運送后，在操作過程中發(fā)現(xiàn)了很好的百分比（多達20％！）。在經(jīng)過認證的系統(tǒng)中，這要么意味著耗費巨大的修復－測試－重新認證周期，要么意味著運營商針對該問題的解決方法。圖2顯示了在軟件開發(fā)生命周期的每個階段引入和檢測到的錯誤的相對百分比。

圖2：顯示在開發(fā)的不同階段引入和檢測到的缺陷百分比的圖表。

在生命周期的早期修復缺陷是最便宜的，而在項目的整個過程中發(fā)現(xiàn)和修復缺陷的代價則成倍增加。在操作中，將產(chǎn)品運送到客戶手中后，修復成本最高。部署后的缺陷修復成本是保守的，并且不包括因現(xiàn)場安全事件而對您的品牌造成的損害和責任。圖3顯示了在生命周期的每個階段修復缺陷的相對成本。顯然，目標是將已檢測到并已修復的缺陷移到生命周期的早期，換句話說，移至“左移”。此外，我們希望減少缺陷的數(shù)量，將其傳達給客戶（在每個領域中都是現(xiàn)實）。

圖3：在每個開發(fā)階段查找和修復錯誤的相對成本。在需求和設計過程中，基線（1x）是修復缺陷的成本最低的地方。圖2和圖3的來源：SAVI在2012 INCOSE SE大會上的演講。

測試自動化在左移中的作用

安全性至關重要的軟件行業(yè)認識到需要改變工作方式。太多的項目正在重新發(fā)明輪子，并且認證全新的軟件既耗時又昂貴。新產(chǎn)品的連接性和功能的增長意味著需要改變方法。在這篇文章中，我們不會介紹所有建議的技術，而是專注于測試自動化在轉(zhuǎn)移減少，檢測和修復缺陷及安全漏洞方面所扮演的角色。

在任何對安全至關重要的項目中，很大一部分都是測試，而自動化對于實現(xiàn)安全性、保障性和質(zhì)量目標是絕對必要的。這是測試自動化工具支持新軟件開發(fā)方法并提高測試和文檔生產(chǎn)率的方式的示例：

支持敏捷和迭代開發(fā)方法：了解瀑布方法的問題，許多團隊正在使用更現(xiàn)代的開發(fā)方法來提高質(zhì)量和安全性。測試自動化是任何迭代開發(fā)方法的重要組成部分，因為測試套件是在模塊，組件等的每個新迭代上運行的。測試自動化通過可重復的自動化測試來支持這些方法，從而為每個測試提供不同級別的報告，而且可以累加隨著時間的流逝。動態(tài)分析工具對于檢測難以檢測到的運行時錯誤至關重要，而靜態(tài)分析在測試開始之前檢測缺陷中起著重要作用。

支持軟件檢查：在開發(fā)生命周期的早期消除缺陷的最佳實踐之一是檢查。檢查意味著檢查所有內(nèi)容，而不僅僅是源代碼。例如，檢查需求和設計對于防止系統(tǒng)中主要的bug源至關重要（請參見圖2）。從字面上看，許多錯誤是設計到系統(tǒng)中的。工具在此階段的作用較小，但確實可以提高代碼審查的效率。自動化的單元測試，動態(tài)錯誤檢測和靜態(tài)分析在項目的早期編碼階段提供了大大改進的錯誤檢測。自動化測試的結(jié)果可以顯示在代碼審查中，從而減少了對手動錯誤檢測的依賴，并為檢測不正確的需求和設計決策留出了更多時間。

提高測試效率：手動測試是乏味且重復性較差。盡管結(jié)果“正確”，但結(jié)果收集可能是臨時性的，可能會遺漏錯誤。實現(xiàn)所需的代碼覆蓋率（根據(jù)安全標準和項目的關鍵程度而變化）很難跟蹤。測試自動化不僅使測試少了很多繁瑣和可重復的工作，而且先進的測試工具的報告功能還可以創(chuàng)建有關項目狀態(tài)的重要管理信息。添加動態(tài)分析和動態(tài)分析可以在運行時分析代碼（以檢測棘手的運行時錯誤），而靜態(tài)分析可以在運行之前分析代碼，從而大大提高了測試工具的錯誤檢測能力。

自動化編碼標準合規(guī)性：許多安全關鍵項目需要源代碼標準。例如，MISRA在汽車軟件中很常見，但在其他行業(yè)已經(jīng)得到認可。一些標準要求代碼符合滿足特定目標的公司標準。在每種情況下，手動執(zhí)行編碼合規(guī)性都是乏味且容易出錯。靜態(tài)分析工具是執(zhí)行合規(guī)性的理想之選，而高級工具則可以檢測出超出格式違規(guī)的錯誤，從而走得更遠。

自動化認證文檔：獲得軟件安全認證的很大一部分工作是在文檔化過程，驗證和驗證中。測試自動化降低了記錄測試結(jié)果和覆蓋率分析的成本。

加速第三方軟件的重用：提高生產(chǎn)力的關鍵策略是重用軟件。理想情況下，可以使用已經(jīng)認證的組件來降低這些子單元的開發(fā)成本。項目需要使用COTS（現(xiàn)成的商用）軟件以及可能的開源和其他源代碼。使用靜態(tài)和動態(tài)分析工具自動評估該軟件可降低使用這些組件的風險。

改善質(zhì)量，安全性和安全性：即使是嚴格的測試方案也可能會遺漏嚴重錯誤。例如，僅代碼覆蓋率還不足以確保在發(fā)生安全攻擊或多線程代碼時的正確行為。靜態(tài)分析工具可以在不運行特定測試的情況下檢測源代碼中的錯誤，并且可以找到在單元或系統(tǒng)測試中很難發(fā)現(xiàn)的錯誤，例如安全漏洞。動態(tài)分析工具可以在測試期間檢測運行代碼中的錯誤，這些錯誤可能會反映在測試結(jié)果中（例如，內(nèi)存泄漏緩慢）。在系統(tǒng)測試期間進行的模糊測試和滲透測試可以發(fā)現(xiàn)在正常操作條件下遺漏的錯誤。總體而言，最新工具發(fā)現(xiàn)的其他缺陷和安全漏洞可幫助降低成本，風險以及進入生產(chǎn)環(huán)境的20％左右的許多錯誤。

左移有什么影響？

顯然，必須采取一些措施來解決如圖2所示的問題。在生命周期的開始階段，引入了太多的缺陷，并使其無法被發(fā)現(xiàn)，并且在制造和制造產(chǎn)品時，產(chǎn)品中留下了太多的缺陷。在客戶手中（或視情況而定在飛機或汽車中）。采用新的開發(fā)方法，重用組件，利用COTS和開源以及工具自動化都是提高開發(fā)生產(chǎn)力的關鍵步驟。 

假設使用最先進的工具進行開發(fā)過程，可以在生命周期的早期發(fā)現(xiàn)并修復更多的缺陷，那么單元測試將非常有效，從而幫助減少了將其付諸生產(chǎn)的錯誤。在圖4中，一個假設的示例顯示了整個生命周期中缺陷檢測的變化——在整個生命周期的早期，大部分缺陷檢測和修復都向左移動。

圖4：該圖顯示了改進的開發(fā)過程，該過程在生命周期的早期轉(zhuǎn)移了對錯誤和安全漏洞的檢測。

從上面的圖3我們知道，成本在每個開發(fā)階段都會大幅增加。下面的圖5顯示了將傳統(tǒng)方法中的缺陷修復成本與圖4中所示的改進后的新方法進行成本對比的結(jié)果，毫不奇怪的是，盡早發(fā)現(xiàn)并修復錯誤的成本要比后來修復這些問題的成本低。在這里介紹的情況下，總成本差異約為40％，這有利于左移方法。

圖5：該圖顯示了修復傳統(tǒng)方法與左移方法時的相對成本。即使總?cè)毕輸?shù)量相同，早期檢測也可以顯著降低成本。

認證工具鏈和資格協(xié)助的重要性

在對安全至關重要的項目中使用自動化工具需要對工具本身的信任。產(chǎn)品制造商有責任確保用于創(chuàng)建軟件的過程和工具符合標準的要求。工具供應商可以通過在銷售給制造商之前使工具獲得安全標準機構(gòu)的認證來提供幫助，或者在無法進行此類預認證的情況下，提供資格協(xié)助。然后，他們可以在自己提交的文件中使用工具供應商的認證證據(jù)，從而減少所需的工作量。（例如，Parasoft C/C++test已通過TüVSüD認證，符合IEC 61508和ISO 26262標準的安全相關軟件開發(fā)要求。）

在某些軟件安全標準（例如DO-178B和DO-178C）中，認證是在系統(tǒng)級別上進行的，單個工具和軟件并非獨立認證。在這些情況下，工具供應商會提供鑒定工具包和有關文檔和專業(yè)服務的幫助，從而大大降低了鑒定用于項目的工具所需的成本和精力。

結(jié)論

安全關鍵軟件肯定會陷入成本危機。大型、新的、對安全至關重要的項目開發(fā)成本過高，以至于它們可能無法盈利。開發(fā)安全性至關重要的軟件需要新的方法，并且這種工作必須減少在軟件開發(fā)生命周期后期發(fā)現(xiàn)的錯誤數(shù)量。將缺陷和安全漏洞的檢測和修復盡可能早地轉(zhuǎn)移到生命周期中，可以大大降低成本。測試自動化在提高測試效率和結(jié)果方面發(fā)揮著作用，并且是安全關鍵軟件開發(fā)新方法的重要組成部分。