用戶體驗(yàn)是決定互聯(lián)網(wǎng)產(chǎn)品能否長(zhǎng)久生存的基礎(chǔ)，每一個(gè)基于產(chǎn)品功能、使用、外觀的微小體驗(yàn)，都將極大關(guān)系到用戶留存影響。本文將講述火山引擎A/B測(cè)試（DataTester）助力企業(yè)協(xié)作平臺(tái)飛書進(jìn)行用戶體驗(yàn)優(yōu)化的案例。

(相關(guān)資料圖)

對(duì)飛書而言，用戶體驗(yàn)旅程從打開產(chǎn)品頁(yè)面的一瞬間就已開始，這里有一個(gè)十分重要的指標(biāo)——頁(yè)面秒開率，秒開率是指頁(yè)面在一秒之內(nèi)打開的比率。為了能夠持續(xù)吸引用戶，一款產(chǎn)品則至少需要在1000毫秒以內(nèi)呈現(xiàn)出交互內(nèi)容。飛書為了提升用戶體驗(yàn)，對(duì)其各項(xiàng)功能的秒開率指標(biāo)的優(yōu)化下了大功夫。在這個(gè)過(guò)程中，火山引擎DataTester通過(guò)嚴(yán)格的變量控制，落地更精準(zhǔn)的實(shí)驗(yàn)結(jié)果，幫助研發(fā)團(tuán)隊(duì)直接佐證并明確了所選優(yōu)化方案的收益。

影響秒開率其實(shí)有很多種因素，如代碼冗余，插件拖累…… 在其中，有一項(xiàng)重要的影響因素是“類加載”。類加載是指當(dāng)頁(yè)面被打開時(shí)，背后是調(diào)用的多個(gè)元素的代碼，它們會(huì)經(jīng)歷驗(yàn)證、準(zhǔn)備、解析、初始化等環(huán)節(jié)后，才能被使用，這個(gè)流程是比較耗費(fèi)時(shí)間的。

以飛書的一項(xiàng)功能“飛書妙記”加載為例。當(dāng)飛書整體進(jìn)行冷啟動(dòng)時(shí)，如果用戶是首次打開飛書妙記界面，就會(huì)伴隨著接近1600個(gè)類的大量加載，這對(duì)頁(yè)面啟動(dòng)速度有著不可忽視的影響。如何減少如此高的類加載數(shù)量對(duì)秒開率的影響呢？飛書團(tuán)隊(duì)希望嘗試采用的方案是：接入SnapBoost方案。

SnapBoost方案的思路是讓App能夠提前對(duì)頁(yè)面使用到的"類"進(jìn)行加載，通俗來(lái)說(shuō)，也就是在用戶打開頁(yè)面之前，將耗時(shí)較長(zhǎng)的部分提前進(jìn)行加載，當(dāng)用戶在打開頁(yè)面的時(shí)候，這些代碼省去了編譯和解析的時(shí)間，可以直接執(zhí)行，使秒開率得到提升。

那么SnapBoost方案是否能有效降低“飛書妙記”的加載時(shí)間呢？飛書團(tuán)隊(duì)采用了火山引擎A/B測(cè)試（DataTester）進(jìn)行方案可行性的重要驗(yàn)證。

本次A/B實(shí)驗(yàn)三大指標(biāo)：

·?類加載數(shù)量

·?Activity切換耗時(shí) ：Activity通常指一個(gè)單獨(dú)的屏幕（頁(yè)面），此指標(biāo)指在不同頁(yè)面之間的切換耗時(shí)。

·?可感知耗時(shí) ?：指用戶操作相關(guān)動(dòng)作(點(diǎn)擊播放、滑動(dòng)卡片等)到首幀渲染出來(lái)感知到的耗時(shí)。

優(yōu)化前后收益驗(yàn)證：

火山引擎DataTester的實(shí)驗(yàn)結(jié)果，對(duì)SnapBoost方案的提升性能假設(shè)給予了強(qiáng)有力的佐證，通過(guò)SnapBoost方案等一系列優(yōu)化，飛書妙記的秒開率可以達(dá)成37%的優(yōu)化提升，目前該方案已經(jīng)成功地進(jìn)行了全量上線。

除了飛書妙記的秒開率提升，飛書的視頻會(huì)議等全線功能，其實(shí)都在使用火山引擎DataTester進(jìn)行A/B實(shí)驗(yàn)。DataTester為飛書的產(chǎn)品功能迭代帶來(lái)了明確收益佐證能力。

“ DataTester是結(jié)合A/B測(cè)試方法論最好的一個(gè)工具。”飛書的研發(fā)成員在采訪時(shí)講到。除了使用DataTester，飛書團(tuán)隊(duì)也會(huì)通過(guò)灰度等方式來(lái)做對(duì)比實(shí)驗(yàn)。相比起灰度等實(shí)驗(yàn)方式，DataTester的最大優(yōu)勢(shì)在于更加嚴(yán)格的變量控制，實(shí)驗(yàn)創(chuàng)建者可以更直白地看清楚優(yōu)化效果，在灰度的基礎(chǔ)上，進(jìn)一步提升實(shí)驗(yàn)結(jié)果的說(shuō)服力。

火山引擎DataTester目前已服務(wù)了美的、得到、凱叔講故事等在內(nèi)的上百家外部企業(yè)，支持了多種業(yè)務(wù)場(chǎng)景需求，為業(yè)務(wù)的用戶增長(zhǎng)、轉(zhuǎn)化、產(chǎn)品迭代、運(yùn)營(yíng)活動(dòng)等各個(gè)環(huán)節(jié)提供了科學(xué)的決策依據(jù)，將成熟的“數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)”經(jīng)驗(yàn)賦能給各行業(yè)。（作者：康晏）

關(guān)鍵詞：