世界熱消息:火山引擎DataTester:如何用A/B測(cè)試做產(chǎn)品增長(zhǎng)?
隨著如今越來(lái)越高的獲客成本,用戶拉新變得不再容易;而且由于獲客成本的增高,讓用戶留存也變得更加重要。同時(shí),一個(gè)產(chǎn)品的使用體驗(yàn)好壞、是否給予對(duì)應(yīng)的用戶價(jià)值,通常“用戶留存”就被作為重要的衡量指標(biāo)之一。
(資料圖片)
那么,如何將有限的流量發(fā)揮出最大的價(jià)值,盡可能的提升用戶留存呢?本文將跟隨字節(jié)的一款內(nèi)容App的增長(zhǎng)實(shí)踐來(lái)一探究竟。
該款A(yù)pp為用戶提供短篇、中篇、長(zhǎng)篇內(nèi)容閱讀服務(wù),但在App推出一段時(shí)間后,該產(chǎn)品團(tuán)隊(duì)通過(guò)核心指標(biāo)分析,發(fā)現(xiàn)App新用戶流失率非常高。其中新用戶LT(Life Time / 用戶生命周期)、LTV(Life Time Value/用戶生命周期價(jià)值)等指標(biāo)均大幅低于預(yù)期,有較大的提升空間。
如何降低新用戶的流失率、提高用戶留存,成為了這款產(chǎn)品亟待解決的問(wèn)題。
由于字節(jié)的產(chǎn)品在迭代、推廣過(guò)程中都會(huì)不斷經(jīng)歷A/B測(cè)試的打磨,因此該產(chǎn)品團(tuán)隊(duì)首先查看了歷史策略,希望汲取一些經(jīng)驗(yàn)。他們?cè)谧止?jié)跳動(dòng)自研的A/B測(cè)試產(chǎn)品——DataTester 中,查看了該App以往的A/B實(shí)驗(yàn)歷史,并通過(guò) DataTester 特設(shè)的「經(jīng)驗(yàn)庫(kù)」能力,找到了往期能夠提升用戶留存的產(chǎn)品策略。
他們從「經(jīng)驗(yàn)庫(kù)」往期A/B測(cè)試的歷史中看到:
· 往期“7天簽到禮包”玩法中,新用戶LT顯著上升,用戶留存率顯著上升;
· 往年春節(jié)期間曾發(fā)起過(guò)眾多活動(dòng),“簽到日歷”的玩法對(duì)比其他活動(dòng),留存最佳;
.....
總結(jié)發(fā)現(xiàn),往期的“簽到玩法”對(duì)比其他策略,對(duì)于這款A(yù)pp的用戶留存提升通常更為顯著。下圖可看到“簽到玩法”帶來(lái)的拉新占比,及用戶留存趨勢(shì)。
因此該團(tuán)隊(duì)判斷,此次產(chǎn)品策略優(yōu)化,通過(guò)優(yōu)化“簽到玩法”獲取提升該App新用戶留存指標(biāo)收益的可能性較高。那么在優(yōu)化方向上具體策略如何制定呢?該團(tuán)隊(duì)通過(guò)數(shù)據(jù)分析后決定從用戶體驗(yàn)痛點(diǎn)入手。
原產(chǎn)品“簽到玩法”如下:
· 玩法設(shè)置在產(chǎn)品二級(jí)頁(yè)面“福利頁(yè)”,用戶必須打開(kāi)App后再進(jìn)入“福利頁(yè)”,才可以完成玩法任務(wù)
· 產(chǎn)品同時(shí)設(shè)置有兩種“簽到玩法”——「7天見(jiàn)面禮」與「日常簽到」,兩種玩法會(huì)同時(shí)彈出,用戶打開(kāi)產(chǎn)品后會(huì)遇到多重彈窗的情況
這樣的產(chǎn)品策略會(huì)帶來(lái)“用戶操作路徑過(guò)長(zhǎng),領(lǐng)取獎(jiǎng)勵(lì)難度相對(duì)較大”以及“多重彈窗對(duì)用戶造成操作打擾”的痛點(diǎn)。產(chǎn)品團(tuán)隊(duì)因此確定了簽到策略的優(yōu)化思路:降低獎(jiǎng)勵(lì)領(lǐng)取難度,去除多重彈窗對(duì)用戶的打擾。
當(dāng)優(yōu)化方向確定后,接下來(lái)就需要設(shè)計(jì)完整的A/B實(shí)驗(yàn)方案了;在A/B實(shí)驗(yàn)方案設(shè)計(jì)的過(guò)程中,最重要的一點(diǎn)是要計(jì)算出取得顯著性結(jié)論所需要的流量是多少。 此時(shí),字節(jié)的A/B測(cè)試產(chǎn)品 DataTester 的優(yōu)勢(shì)就體現(xiàn)出來(lái)了。當(dāng)業(yè)務(wù)把想提升的指標(biāo)、數(shù)值、提升方向輸入進(jìn)來(lái)后,DataTester 可以直接自動(dòng)計(jì)算所需要的樣本數(shù)量,然后經(jīng)過(guò)A/B測(cè)試的實(shí)驗(yàn)數(shù)據(jù)來(lái)進(jìn)行效果驗(yàn)證,幫助業(yè)務(wù)確認(rèn)最優(yōu)解的策略。
最后通過(guò)優(yōu)化新用戶的「7天見(jiàn)面禮」簽到活動(dòng),從 DataTester 的實(shí)驗(yàn)結(jié)果上來(lái)看,優(yōu)化后的實(shí)驗(yàn)組的大盤(pán)新用戶LT(用戶生命周期)、留存率等均有明顯的正向提升;不僅如此,在App活躍時(shí)長(zhǎng)、ARPU(平均每用戶收入)等核心指標(biāo)的數(shù)據(jù)也均有不同幅度的正向提升;同時(shí)新用戶的簽到問(wèn)題反饋也有所下降。
因此,該App將新的策略全量上線,從線上數(shù)據(jù)表現(xiàn)來(lái)看,該App的「7日簽到」策略次日領(lǐng)取率提升了近20%,用戶多日留存穩(wěn)定提升了3%~5%,獲取了超預(yù)期的收益。
對(duì)于企業(yè)而言,更明智、更長(zhǎng)期的戰(zhàn)略意味著需要同時(shí)專注于自身產(chǎn)品的健康發(fā)展以及增長(zhǎng),而這其中最重要的驅(qū)動(dòng)因素是用戶滿意度和用戶留存。注重用戶留存就可以推進(jìn)增加營(yíng)收及提高盈利能力,也節(jié)省了獲客成本,達(dá)到了降本增效的目的。
那么如何提升核心指標(biāo)?如何選擇最優(yōu)的產(chǎn)品策略?如何科學(xué)的評(píng)估指標(biāo)提升與策略的關(guān)系?如何選準(zhǔn)正確的迭代方向并繼續(xù)向下探索收益?這些都需要A/B測(cè)試來(lái)進(jìn)行評(píng)估并得到“理性且科學(xué)”的數(shù)據(jù)結(jié)果,幫助業(yè)務(wù)在每一個(gè)決策的岔路口上,都做出了更正確的選擇。
DataTester 依靠其先進(jìn)的底層算法,提供科學(xué)的分流能力和智能的統(tǒng)計(jì)引擎,支持多種復(fù)雜的A/B實(shí)驗(yàn)類型。在字節(jié)內(nèi)部幫助今日頭條、抖音等多個(gè)產(chǎn)品“擺脫猜測(cè),用科學(xué)的實(shí)驗(yàn)衡量決策收益”。 不僅如此,DataTester 也已經(jīng)由火山引擎對(duì)外開(kāi)放服務(wù),目前已服務(wù)了美的、得到、凱叔講故事等在內(nèi)的上百家外部企業(yè),支持了多種業(yè)務(wù)場(chǎng)景需求,為業(yè)務(wù)的用戶增長(zhǎng)、轉(zhuǎn)化、產(chǎn)品迭代、運(yùn)營(yíng)活動(dòng)等各個(gè)環(huán)節(jié)提供了科學(xué)的決策依據(jù),將成熟的“數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)”經(jīng)驗(yàn)賦能給各行業(yè)。(作者:宋楠)
關(guān)鍵詞: 新聞資訊
2022-12-06 16:54:08
2022-12-06 16:46:04
2022-12-06 16:31:47
2022-12-06 15:53:34
2022-12-06 15:51:10
2022-12-06 15:50:31
2022-12-06 15:46:55
2022-12-06 15:39:40
2022-12-06 15:11:35
2022-12-06 11:35:50
2022-12-06 11:33:54
2022-12-06 11:30:32
2022-12-06 11:30:28
2022-12-06 11:29:40
2022-12-06 11:28:15
2022-12-06 11:26:33
2022-12-06 11:24:24
2022-12-06 11:24:04
2022-12-06 11:23:59
2022-12-06 11:22:13
2022-12-06 11:21:57
2022-12-06 11:21:42
2022-12-06 11:20:53
2022-12-06 11:20:00
2022-12-06 11:19:00
2022-12-06 11:17:44
2022-12-06 11:16:07
2022-12-06 11:15:58
2022-12-06 11:15:58
2022-12-06 11:15:10
2022-12-06 11:14:11
2022-12-06 11:13:53
2022-12-06 11:13:50
2022-12-06 11:13:46
2022-12-06 11:13:44
2022-12-06 11:12:39
2022-12-06 11:11:02
2022-12-06 11:09:51
2022-12-06 11:07:48
2022-12-06 11:06:25
2022-12-06 11:06:07
2022-12-06 11:06:06
2022-12-06 11:05:42
2022-12-06 11:04:52
2022-12-06 11:04:23
2022-12-06 11:03:42
2022-12-06 11:01:56
2022-12-06 11:01:20
2022-12-06 11:01:06
2022-12-06 11:00:50
2022-12-06 11:00:29
2022-12-06 11:00:04
2022-12-06 10:56:39
2022-12-06 10:56:32
2022-12-06 10:56:28
2022-12-06 10:56:08
2022-12-06 10:55:36
2022-12-06 10:55:31
2022-12-06 10:52:13
2022-12-06 09:46:50
2022-12-06 09:33:27
2022-12-06 09:30:55
2022-12-06 08:53:54
2022-12-06 08:53:30
2022-12-06 08:52:29
2022-12-06 08:43:43
2022-12-06 08:41:53
2022-12-06 08:41:27
2022-12-06 08:39:12
2022-12-06 08:39:02
2022-12-06 08:38:30
2022-12-06 08:31:11
2022-12-06 08:31:09
2022-12-06 08:31:02
2022-12-06 08:30:43
2022-12-06 08:29:25
2022-12-06 07:52:52
2022-12-06 07:49:09
2022-12-06 07:45:00
2022-12-06 07:43:33
2022-12-06 07:31:52
2022-12-06 06:48:03
2022-12-06 06:42:30
2022-12-06 06:39:20
2022-12-06 06:38:25
2022-12-06 06:33:04
2022-12-05 21:43:22
2022-12-05 20:50:03
2022-12-05 20:48:39
2022-12-05 20:43:52
2022-12-05 20:43:10
2022-12-05 20:42:49
2022-12-05 20:32:29
2022-12-05 19:42:21
2022-12-05 19:40:24
2022-12-05 19:31:27
2022-12-05 18:36:45
2022-12-05 18:31:12
2022-12-05 17:44:34
2022-12-05 17:42:15
相關(guān)新聞