如果只能指出一項測試工程師核心的工作,那我會說是「Test Case」,也就是測試項目。因為最終就是得決定我們該測試些什麼。
如果要說最流行的測項管理系統(Test Case Management System),Excel跟Google Sheet如果說是第二名跟第三名,那第一名就是沒有測試,也就不需要測項管理了。這不是玩笑話喔,我們統計了大約七十家企業,橫跨金融、遊戲、軟體開發商、百貨、零售等等,超過50%的企業是沒有配置測試人員,是由研發人員自行測試或是不測試,由使用方驗收,即使有測試,測試過程是沒有管理測試項目的。
「沒有測試」這件事的問題,留待未來再討論,今天,我們要針對第二名和第三名來探討,為什麼我們不該繼續使用Excel和Google Sheet來管理測項。
有沒有注意到,前三名都是我們不推薦的事情,但卻是最多人在做的?很不幸的,主要原因仍然是成本問題,Office軟體無論是微軟派系還是Google陣營,甚至還有免費的OpenOffice和LibreOffice的選擇,辦公軟體已經是每間企業的標準配備,效益最大化是企業所追求的,每個月所付出去的成本,如果能夠得到更多的使用,那CP值就很高。
或是反過來,因為測試工程師需要工具來進行測項管理,但是公司沒有額外的預算,導致測試工程師需要夾縫中求生存,因此就會審視手上有的資源,目標也就會放在Excel或Word上(沒錯,有的公司也用Word在管測項)
讓Armoury成為測試團隊的軍火庫
工欲善其事,必先利其器
以下將說明為何不該使用Excel或Google Sheet來做測項管理系統(Test Case Management System)
很矛盾的是,今天我們要討論的是不該使用Excel和Google Sheet來管理測項,但他卻是最普遍的測項管理方式,我們都可以設計很多種模板來管理,甚至每間公司所做出來的模板都不同,造成這狀況這最根本的原因,是我們都沒有意識到的
Excel和Google Sheet的表格形式本質上是一種資料庫
這裡我們就點出第一個原因,在現在的科技世界裡,資料庫可以說是一切應用的核心。但是資料庫的功能是讓應用程式存取來進行資料統整和分析,產生有意義的資訊給使用者,而我們使用表格來進行測項管理,其實等於我們直接用資料庫再進行測項管理,中間缺乏了一個有效率的應用程式來幫助我們管理測項。這就是為什麼Excel和Google Sheet可以用來做測項管理但是卻不好用的根本原因,也就帶出第二點:
Excel和Google Sheet是為了財務、統計、科學的目的所設計的
當一項產品是為了某個特殊領域或目的而設計的,我們卻硬生生把他拿來做其他事情,雖然沒有對錯,但就是有一種尷尬感。例如生活常用的剪刀,有很多細分功能,像一般剪刀、剪髮的剪刀、剪布料用的剪刀、剪肉的剪刀、剪骨頭的剪刀、剪盆栽的大剪刀,還有剪鼻毛的小剪刀,一樣都是剪刀,目的都是為了把東西剪斷,但如果用到不對的標的物上時,就會開始感到困擾。如果你把裁縫師的剪刀拿去剪紙,你絕對會被打,因為裁布需要很高的鋒利度才能輕易的把柔軟的布剪開,剪紙很傷鋒利度;即使是很鋒利的剪布剪刀,你拿去剪骨頭,我相信是無論如何都剪不開的,因為剪骨頭的剪刀是需要比較強的支撐力和槓桿才好剪。如果去排列組合對應,你可以感受出我想表達的那種尷尬感,我就不一一列舉了。
Excel最初就是為了解決數字問題的計算而生,當我們拿來管理測項時,除了最後做報表的時候,我們基本上是不會使用那些函數的,因為我們主要是為了那個表格形式來放置我們的測項資料罷了。
表格裡的資料,很容易就被修改
第三點,容易修改乍聽之下好像應該是個優點才對,但你一定有遇到過,你在表格裡跳來跳去的時候,不小心打到鍵盤的任何一個按鍵,那個儲存格的資料就被覆蓋了,當下發現還能Ctrl + Z恢復,但過一陣子才發現的話,就意味著你根本就忘了那一格原本寫了什麼,除了損失你當時的努力,你還得花更多時間來回補這個過失。
不正確的版本控制
科技日新月異,現在連Excel和Google Sheet都有版本紀錄了,所以剛剛提的資料容易被修改,好像問題就不大了對嗎?不對,因為試算表版本控制的方式不是設計來管理測項的。試著想像一下,一個軟體工程師為了文件的版本紀錄,而改用Word寫程式碼……如果你覺得不適合,那我想也不應該認為適合管理測項。什麼?你說現在有儲存格的版本紀錄?你真心認為儲存格的版本紀錄跟測項的版本紀錄是一回事嗎?他所紀錄的是那一格儲存格的改變,當你因為管理測項而移動儲存格,它是沒有關聯性的。
不利於團隊共同協作
看到這點被放在理由上,想必會有人不滿,認為當初Google Sheet最強大的就是它協同作業的功能,大量人員可以共同編輯同一個檔案,怎麼可能是不利於協作呢?
不利協作的原因,要把「表格資料容易修改」和「不正確的版本控制」一起拿來說明。
由於我們無法控制表格的版本紀錄,因此當有兩個人在短時間同時編輯一個儲存格時,中間的變化不一定會被記錄下來的,然而優秀的測項管理系統,只要有修改,即使是同時也會將兩者都記錄下來,供問題發生時追溯和還原。
檔案級別,不易管理複雜專案,時間都花在管理檔案上
如果你有風險意識,應該不會把雞蛋放在同一個籃子裡,或是會選擇備份檔案,避免檔案毀損時,連你的職涯一起毀損。但是當一個專案龐大或複雜的時候,你要從一千條測項中找到你想要的那一條測項要滑鼠滾輪要滑多久?Ctrl+F的搜尋也得記得關鍵字,如果用檔案來做Test Case分類則不容易讓兩個檔案之間協作,即使用Sheet分累則當過多時也會有難以搜尋的問題。總而言之,會花費大量的時間在做管理的邏輯上,若負責的人離職,整個管理邏輯又要重新熟悉或設計。我們遇過太多因為負責人理念不同而導致Test Case架構改變多次的狀況,都是時間成本的浪費。
缺乏稽核機制和活動紀錄
Excel和Google Sheet能夠紀錄檢視活動和修改歷史,但細粒度不足以在實務上使用,例如,我們無法計算一個成員在今天內做了哪些修改,測試了哪些Test Case,它的紀錄本意是在存取控管而不是活動紀錄。對於測試主管來說,如何了解每一位成員的測試進度和阻礙是困難的課題,尤其是在遠端工作盛行的時代,絕大多數的主管都是採用彼此信任的態度在管理團隊,缺乏數據輔助。
很難和自動化測試整合
試著想一下方案,如果你想讓一條自動化測試的結果回填到試算表裡,該怎麼做?好,別想了,當你的方案開始複雜的時候,則表示這件事情開始不對勁了。這也是為何大多數的自動化測試整合,都是另外維護測試資料的報表,例如Allure或與pytest相容的報告模組,而這也造成了另一種維護成本,自動化測試工程師需要挪移時間來維護報告機制。
不要被工具限制了你的作法,當你的目光聚焦在Excel和Google Sheet的時候,喪失了使用更好的系統來提升效率的機會。
最後總結,Excel和Google Sheet無疑是很強大的試算表工具,但它們絕對不是強大的測試項目管理系統(Test Case Management System),配備錯誤的武器,是無法發揮人員的能力和效率的。
若你正在使用Excel,而且對現在的效率感到滿意,你可能已經陷入了凝滯的狀態,無法感受到目前的問題,也就是習慣了周圍的一切,認爲現況就是最好,而缺乏探究更高效率可能性的動力。
如果你想簡單改善測試團隊的效率,更換測項管理系統是最快的方式,選擇專為測試人員設計的系統,能夠保證整個流程是經過最佳化的,而節省下來的時間,能夠進行更多的測試,獲得更多產品相關的測試數據。
0 Comments