Testin總裁徐琨

［釘科技報(bào)道］移動(dòng)互聯(lián)網(wǎng)的“跳躍式”發(fā)展，使得近兩年來，在包括手游、社交、電商等細(xì)分領(lǐng)域的創(chuàng)業(yè)團(tuán)隊(duì)開始進(jìn)入“獲利”階段，然而，“野蠻生長”的紅利期逐漸過去，行業(yè)成熟帶來的競爭加劇和用戶增長瓶頸也使得產(chǎn)品運(yùn)營進(jìn)一步轉(zhuǎn)向精細(xì)化。

與此同時(shí)，移動(dòng)應(yīng)用測試也從之前的相對溫和期進(jìn)入快速發(fā)展階段。在這種形勢下，作為移動(dòng)應(yīng)用云測試市場先頭部隊(duì)的Testin云測，隨著自己的B端用戶“同步”展開精細(xì)化運(yùn)營，以“讓App好用”為“小目標(biāo)”，上線Bug探索業(yè)務(wù)，業(yè)務(wù)目前已經(jīng)升級至2.0版本。

解決Bug的“最后一公里”

成立于2011年，作為全球首家推出基于真機(jī)測試實(shí)驗(yàn)室及自動(dòng)化技術(shù)的“云測試”服務(wù)平臺(tái)，Testin產(chǎn)品包含兼容測試、功能測試、壓力測試、安全測試、A/B 測試、體驗(yàn)測試、崩潰分析以及移動(dòng)應(yīng)用發(fā)布后持續(xù)的質(zhì)量監(jiān)控。涵蓋包括App開發(fā)、發(fā)布、分析等所有環(huán)節(jié)以及眾包測試、性能管理等多領(lǐng)域，實(shí)現(xiàn)應(yīng)用生命周期持續(xù)迭代的一站式測試服務(wù)，正是其精細(xì)化運(yùn)營的體現(xiàn)。

Testin將常規(guī)測試之外的探索性測試做為了一塊業(yè)務(wù)，其目的在于“發(fā)現(xiàn)意想不到的Bug”，因此將這塊業(yè)務(wù)命名為“Bug探索”。在相應(yīng)服務(wù)上線時(shí)，Testin也曾提出過“解決Bug‘最后一公里’”的概念。

據(jù)總裁徐琨介紹，Bug探索的意義和作用，有如下幾個(gè)方面：

1.讓測試工作脫離常規(guī)用例，深度挖掘應(yīng)用中不易被發(fā)現(xiàn)的Bug，確保產(chǎn)品質(zhì)量穩(wěn)定，提升產(chǎn)品體驗(yàn)；

2.多人大面積驗(yàn)證核心功能，通過發(fā)散性測試，模擬各種異常場景和極端測試方法，找出各類潛在問題和風(fēng)險(xiǎn)；

3.Bug探索能夠?qū)ug進(jìn)行等級管理，對于發(fā)現(xiàn)的問題提供詳細(xì)的問題描述，包含問題日志、截圖、視頻等信息，幫助研發(fā)人員快速解決并修復(fù)問題。  

測試專家版“大家來找茬”

Bug探索，以眾測模式展開，跳開“用例測試”對測試路徑的規(guī)劃和結(jié)果的預(yù)期，尋找更多隨機(jī)甚至是小概率的可能性，作為探索性測試，更像是“大家來找茬”，不同之處在于，這是一場由專業(yè)的測試團(tuán)隊(duì)，有目標(biāo)有體系，共同參與的“大家來找茬”。

Testin在業(yè)內(nèi)能夠率先上線Bug探索業(yè)務(wù)，其優(yōu)勢之一，就體現(xiàn)在“大家”上，當(dāng)然，這里所說的“大家”，不僅僅是指“人”：

首先是測試專家群體。近16萬，這是Testin總裁徐琨給出的Testin平臺(tái)上專業(yè)測試人員的數(shù)量，這些專業(yè)的測試人員被根據(jù)不同應(yīng)用分為50多個(gè)大類，每個(gè)大類又分為若干大組，每個(gè)大組的人數(shù)都在3000至20000的區(qū)間內(nèi)，人員在組別間會(huì)有交叉。人數(shù)，首先保證了Testin能夠適應(yīng)多應(yīng)用的探索性測試，同時(shí)能對大型應(yīng)用進(jìn)行深度“窮舉”；分組，則使得人員對接更加精確。另外，也可以解決App在不同地域、不同環(huán)境下使用的問題。

其次是數(shù)據(jù)量的積累。服務(wù)80萬開發(fā)者，完成對200萬App累計(jì)1.5億次的測試，提供給市面上80%的App專業(yè)測試服務(wù)，使得Testin積累下大量測試經(jīng)驗(yàn)數(shù)據(jù)。幫助Testin訓(xùn)練自己的機(jī)器學(xué)習(xí)模型，將人工智能技術(shù)加入到測試環(huán)節(jié)，提升測試效率只是一個(gè)方面，此外，也可以幫助平臺(tái)上的測試人員完善認(rèn)知。

借助Bug探索，不少有著相當(dāng)大用戶和潛在用戶量的應(yīng)用得以完善。例如，在國內(nèi)最早涉足手機(jī)直播的“趣播”，應(yīng)用的社交屬性伴隨著巨大的用戶想象空間，作為創(chuàng)業(yè)團(tuán)隊(duì)，“各地不同的網(wǎng)絡(luò)環(huán)境”以及“不同型號安卓手機(jī)的兼容性”成了測試的主要難點(diǎn)；有著大量學(xué)員的新東方在線，遇到的也是這方面的問題。而Testin，正是通過Bug探索，幫助客戶解決了這些問題。

“破窗而入”，發(fā)現(xiàn)意想不到的Bug

模擬真實(shí)用戶角度，結(jié)合團(tuán)隊(duì)測試經(jīng)驗(yàn)，最大限度探索用戶使用習(xí)慣和路徑，探索復(fù)雜操作流程；真實(shí)模擬異常應(yīng)用場景及系統(tǒng)特有功能，確保主要功能使用流暢，避免影響用戶體驗(yàn)的問題，發(fā)現(xiàn)研發(fā)人員不易發(fā)覺的Bug，這是Bug探索的目標(biāo)。因此，測試軟件功能在異常場景下（或者相對的“小概率”場景下）操作是否正常，就成了Bug探索的主要工作模式。測試人員在這個(gè)過程中，會(huì)采用等價(jià)類測試方法、邊界值測試方法、錯(cuò)誤推測法、取消測試方法、逆向測試方法、錯(cuò)序測試法等測試方法。

相對于標(biāo)準(zhǔn)測試，Bug探索更需要的是“打破常規(guī)”。徐琨這樣描述他本人對于Bug探索的看法，如果把App測試看成一個(gè)進(jìn)入房間的過程，標(biāo)準(zhǔn)測試是按一般思路從門進(jìn)入，Bug探索要做的，可能是“破窗”，也可能是“挖掘地下通路”，總之，就是要盡可能嘗試“進(jìn)門”之外的其它各種路徑。

以登錄應(yīng)用為例：標(biāo)準(zhǔn)測試一般只需要驗(yàn)證用正常的11位手機(jī)號碼和密碼登錄應(yīng)用時(shí)，App反應(yīng)是否正常，而在Bug探索中，為驗(yàn)證App反應(yīng)是否正常同時(shí)為探知此前不容易發(fā)現(xiàn)的問題或漏洞，測試人員就有可能輸入一個(gè)非標(biāo)準(zhǔn)的登錄號碼，比如其位數(shù)只有個(gè)位，甚至不輸入或者輸入一個(gè)負(fù)數(shù)。

Bug探索由相關(guān)應(yīng)用領(lǐng)域經(jīng)驗(yàn)豐富的專家?guī)F(tuán)隊(duì)參與探索性測試，提供15/50/100/200人四檔模式。在進(jìn)行一輪探索后，客戶方修改發(fā)現(xiàn)的bug并轉(zhuǎn)給Testin回歸修改的bug，測試專家根據(jù)需求再發(fā)出探索任務(wù)。

“Uber模式”，規(guī)范測試操作流程

Bug探索采用的運(yùn)營模式，整體看來與網(wǎng)約車類似，很像滴滴或者Uber，甚至也可以算是一種近似于時(shí)下頗為火熱的共享單車的一種“共享經(jīng)濟(jì)”形式。
采用這種模式，對于Testin而言，主要有兩方面考慮：首先，在“人工智能”尚不成熟的階段，能夠真正理解用戶體驗(yàn)和需求的，依舊是人本身；其次，更多的測試者才能更好滿足用戶需求，而作為創(chuàng)業(yè)團(tuán)隊(duì)，人員一定是有限的。

Bug探索最初的模式是由Testin發(fā)布任務(wù)，由眾測平臺(tái)上的測試人員搶單，完成任務(wù)后領(lǐng)取報(bào)酬。當(dāng)然，應(yīng)用測試相比網(wǎng)約車更為復(fù)雜，還要包括比較細(xì)致的“測試后”工作，主要是將數(shù)據(jù)進(jìn)行整合、清理、分析、形成報(bào)告。

Bug探索2.0版本，目前已經(jīng)迭代上線，相比初始版，主要是在測試者的運(yùn)營管理層面更為精細(xì)化，整體上是對測試團(tuán)隊(duì)、測試流程和標(biāo)準(zhǔn)的進(jìn)一步規(guī)范：

1.架構(gòu)測試者評價(jià)系統(tǒng)，對測試任務(wù)評級，對測試結(jié)果打分，對測試人員進(jìn)行系統(tǒng)性分類，配合精確的篩選機(jī)制；

2.產(chǎn)品形態(tài)升級，主要是測試報(bào)告可讀性的增強(qiáng)，從而增強(qiáng)測試后用戶方面的可操作性，例如對Bug的等級劃分，對數(shù)據(jù)進(jìn)行更細(xì)分的模塊化管理，完整提供測試過程記錄等等；

3.提供訂制服務(wù)，從而滿足不同客戶或者客戶在不同產(chǎn)品階段的需求。

另外，Testin 交付質(zhì)量小組會(huì)對每次測試任務(wù)進(jìn)行考核，并為測試專家打分，累計(jì)兩次考核不合格者將取消其專家資格；Testin 平臺(tái)會(huì)收集測試專家反饋，定期清理測試能力不達(dá)標(biāo)或表現(xiàn)較差的測試者，保證每一次測試的交付質(zhì)量。

現(xiàn)在的Testin，業(yè)務(wù)已經(jīng)從App領(lǐng)域，向移動(dòng)頁面、公眾號、小程序、智能硬件等方面擴(kuò)展，其頗為感興趣的兩個(gè)領(lǐng)域是人工智能和萬物互聯(lián)，特別是后者，將會(huì)給軟件測試領(lǐng)域首先帶來新的增長點(diǎn)。可以想到的是，Bug探索的產(chǎn)品模式，依舊會(huì)是Testin切入相關(guān)市場的“前鋒”。