AB实验遇到用户不均匀怎么办？ vivo游戏中心业务实践经验分享--go百科网

AB实行碰到用户不匀称怎样办？ vivo游戏中央业务实践履历分享

AB实行是业务不休迭代、更新时最高效的验证办法之一；但在举行AB实行后果评价时必要特别眷注“用户不匀称”的成绩，稍不注意，产出的研讨结论就约莫谬以千里，给业务决定带来极暴风险。因此我们游戏业务针对该成绩，借助霍金实行团队以前完成的分层抽样（协变量均衡算法）才能，探求出一套基于用户分层逻辑的“事前用户分层”方案，和霍金实行平台项目团队、版本公布项目团队协同协作推进方案落地，提升游戏业务AB实行的用户匀称性。本文会基于实践使用案例，来给各位仔细论述干系办法模子的思索历程，完成原理，使用后果，渴望可以协助各位在各自范畴中处理用户不匀称成绩时带来参考和启示。

一、弁言

业务经过不休迭代更新来持续提高，AB实行是最高效的迭代验证办法之一，分析师则经过研讨优化实行方案，评价业务实行后果来展现数据代价。这也是数据分析师的中心事情职责之一；这就要务实行方案和后果评价具有极高的封建性与准确性，但是在实践事情中，由于用户不匀称成绩的存在，会直接影响到分析师产出后果的准确性，进而影响产物干系决定。

已往的几年里，游戏业务的分析师团队不休探究和研讨AB实行中用户不匀称成绩的处理方案，现在以前较好地处理了游戏业务中的此类成绩。本文起首以用户不匀称的看法和影响为铺垫，接着以处理方案为主线论述游戏分析师团队在处理AB实行中用户不匀称成绩的实践后果，并展望将来。

二、什么是用户不匀称

2.1 什么是AB实行中的用户不匀称

基于AB实行逻辑的业务迭代有一个至关紧张的条件假定：实行的两个组除了产物本身产生窜改的唯一变量外，其他干系要素，尤其是用户本身的特性都是一律的，即两一局部群的用户属性分布是完全匀称的。

业务AB实行碰到的用户不匀称成绩是指，用来评价业务后果的实行组、比力组两一局部会萃，由于人群区分办法（用户标识加密尾号分组等）、人群量级、大概观察目标本身特别性等缘故，招致两一局部会萃在中心后果评价目标的先验分布存在较大差别：

【人群区分办法】：有些业务直接用手机标识举行人群区分，但手机标识和手机型号批次等干系，不具有富裕的随机性；
【人群量级】：人群量级过小时，抽样无法确保不同特性用户完全随机，招致用户分布不均；
【目标特别性】：游戏付费目标具有高希罕性、非正态分布、非一连等特点，常规的抽样办法难以确保好的匀称性。

如下图所示（不同颜色代表不同先验特性的用户）：

再简便举个例子，对比实行组人群A相较于比力组人群B由于先验特性分布的差别，招致在业务的中心目标上，先验的汗青体现即为A>B；这就招致使用两一局部会萃举行实验后，在业务后果评价时，假如人群A的某个目标>人群B，那么是由于业务战略带来的提升照旧汗青用户本身的差别呢？这就堕入了业务决定的困境。

2.2 游戏中央业务AB实行中的用户不匀称

游戏中央业务迭代中使用AB实行的场景主要为，版本迭代灰度AB实行，以及中央业务战略优化AB实行；在过往的AB实行历程中，两种场景都多次碰到过用户不匀称的成绩，但两个场景的业务目标存在差别，故面临的用户不匀称成绩也有区别。底下我们具体先容一下两种场景的异同点。

2.2.1 游戏中央版本迭代中的用户不匀称

游戏中央版本迭代时，主要观察的目标为用户在中央活泼、游戏下载等目标；使用的人群区分办法为：使用对手机标识举行加密处理后的尾号举行分组，这种办法在大流量的情况下关于用户匀称功能坚持不错的后果；但是版本迭代的紧张特点就是小流量快速迭代，以是在小流量下就会招致不同活泼下载体现的用户在实行组、比力组中数目存在差别，进而招致两一局部群在一些中心观察目标上存在不匀称征象，影响终极的版本放量决定。

2.2.2 游戏中央战略实行中的用户不匀称

游戏业务作为公司的主要创收业务，游戏中央战略实行时，除了观察活泼、下载目标之外，还必要观察游戏后向的收入目标厘革；前方也提到活泼下载目标的匀称性在大流量下是可以确保的，而战略实行时的流量寻常是较大的，汗青数据也证实在战略实行的流量下，活泼分发目标的匀称性是可以确保的。

但游戏收入作为一种特别的商业形式，与用户活泼、游戏下载存在较大差别，本身具有以下特别性：

【付用度户范围仅限】：全体游戏活泼用户中，付用度户范围仅限，随机抽取两组用户中，即使活泼用户量级一律，但付用度户量级本身约莫存在较大差别，尤其是高付用度户在两组中分布存在差别。
【收入分布非正态】：一定周期内游戏用户付费分布范围极大，但是大大多用户付费不高，以是几个极值高付用度户的差别就可以对全体收入后果产生较大影响。
【游戏付费水平不安稳】：用户游戏付费是和游戏强干系的，故用户的付费情况除了本身要素外，还和用户迩来玩的游戏有关，即用户付费水平是一个不休厘革的历程。
【高付费值非一连分布】：高付用度户的界说是一个范围的看法，并且高付费的用户是仅限的，以是具体高付费值并不是一连的，高付费之间也会存在分明差别，这个差别放到全体上时仍然会产生较大的影响。

以是即使在中央战略实行场景较大的流量下，仍然照旧无法确保实行时收入目标的匀称性，缘故可以归为两方面：

实行组和比力组中高、低付用度户的分布不匀称，付用度户量级存在较大不同。
高付用度户的付费值非一连分布，即使付用度户在各组分布匀称，但付费值仍然存在一定差距。

三、用户不匀称的影响

vivo游戏中央作为公司专业的游戏分发平台，为了更好的办事好游戏中央用户，必要不休地对游戏中央产物举行优化迭代。AB实行作为主要的后果验证办法，经过比力业务眷注的中心目标，选择最优的功效或版本举行全量，但用户不匀称成绩会对整个流程闭环产生比力大的影响，主要包含以下几个方面：

1、影响业务数据的可表明性，招致业务后果的结论偏差

由下表可见，游戏中央汗青一些业务战略实行中，战略关于收入项目标本无直接影响，但整个收入目标的动摇均在10%以上；在此情况下，以前完全无法依据实行收入数据来评价业务战略关于收入的影响情况。

arpu=实行周期内活泼用户游戏下载后付费/活泼用户

2、带来业务战略放量错误的风险

这里主要存在的风险在于后果负向战略被放量、后果正向战略无法及时放量。

3、招致灰度发版的无听从高，特别排查糜费多量人力

游戏中央灰度发版中，一年有8-10次的版本特别是由用户不匀称招致的，并且单次特别排查必要泯灭各方人力共5人日，整年版本特别排查累计糜费人力40人日+/年。

以是怎样封建公道的处理游戏中央AB实行后果评价中的用户不匀称成绩，关于整个游戏中央业务后果评价的提高具有紧张意义。

四、怎样应对用户不匀称成绩

AB实行中的用户不匀称成绩是数据分析师举行实行后果评价时不休都面临的成绩；过往几年里，针对怎样更公道，更高效的处理该成绩，准确评价实行后果，游戏数据分析组的同事研讨实验了多种不同的处理方案：

从上述几个方案比力中可以看出，基于用户分层逻辑的“事前用户分层模子”是现阶段最封建、公道且后果安定的处理方案。

五、游戏业务处理方案先容——“事前用户分层”模子

本局部主要针对“事前用户分层”模子举行先容，同时包含模子的计划，产物化完成，以及在游戏中央业务中的实践运用后果，便于各位直观了解模子的逻辑和后果。

5.1 分层模子先容

如前方用户不匀称先容局部所述，固然中央版本灰度场景和中央战略优化场景的AB实行都面临着用户不匀称成绩，但两个场景面临的不匀称成绩存在不同；以是我们针对这两个场景，基于用户分层逻辑分散搭建针对分发目标和收入目标的分层模子，实行人群抽样时从不同用户分层中抽取相反数目标用户进入实行组和比力组，以期处理业务后果评价中的用户不匀称成绩。

常规分层抽样逻辑：假定大盘活泼用户为N，分层后第i层大盘活泼用户为Ni，实行时各组实行抽样的流量为n，则实行组中第i层的抽样量级应该为：

5.1.1 用户游戏收入分层模子

中央战略AB实行时业务中心眷注的付费目标中受用户不匀称影响的主要是活泼用户arpu，故针对该目标的界说，拔取局部正中变量作为用户分层的依据，然后依据这些目标在中央活泼用户大盘中的体现，先依照单一目标分组，然后多个目标交织组合构成终极的分层方案。

5.1.2 用户分发分层模子

针对中央版本灰度实行时业务中心眷注且受用户不匀称影响的分发目标，拔取局部正中变量作为用户分层的依据；然后与收入分层模子接纳一样的办法构成终极的分层方案。

5.2 分层模子产物化完成

数据侧搭建完成用户分层模子后，想要完成在实行和灰度时依托于分层模子举行分流抽样，必要借助产物平台的功效；于是我们和霍金实行平台、以及版本公布体系互助，由霍金和版本公布体系同事开发干系功效将我们搭建好的用户分层模子分散接入霍金实行平台和版本公布体系，完成在实行和版本灰度的用户分流时基于用户分层逻辑举行，确保实行和版本灰度时各一局部群组之间的用户匀称性，提升后向后果评价的封建性和准确性。

具体分流逻辑表现图如下：（图中四个不同颜色代表不同的特性分层人群）

具体产物平台功效完成办法详见：参考材料[2]

5.3 “事前用户分层”的测试后果

霍金实行平台和版本公布体系干系功效上线后，数据分析侧展开了对应平台的AA实行，验证用户分层逻辑关于用户不匀称成绩的处理后果对否到达预期水平。

5.3.1 霍金实行平台AA测试结论

用户分层模子在不影响原有分发目标匀称性的条件下，可以大幅提升中央实行收入数据的匀称性。

分发匀称性：两种分流逻辑下，分发干系目标动摇均不明显，但用户分层逻辑下目标波动相对值远小于hash分流逻辑。

hash分组逻辑下，收入arpu1动摇11.6%；但用户分层抽样逻辑下，两个实行组收入arpu1动摇分散为4.8%和1.9%，收入arpu2动摇分散为3.3%和1.5%，匀称性大幅提升。

备注：收入目标及活泼干系目标比力盘算相对厘革值；分发目标比力盘算相对厘革值；收入arpu1、2代表不同的收入盘算逻辑。

5.3.2 版本公布体系AA测试结论

用户分层模子在分发目标的匀称性上，优于原有的手机标识加密尾号分流办法。

分发匀称性：用户分层逻辑下，各个分发目标均动摇不明显；但手机标识加密尾号分流逻辑下，游戏分发干系目标E明显厘革，即在该目标上存在用户不匀称。

5.4 功效上线收益

“事前用户分层”模子在游戏中央业务实行和灰度发版中上线使用后，可以带来以下几方面的明显收益：

【灰度好效发版率明显提升9pt】：分层逻辑上线后，游戏中央好效灰度发版（用户匀称）的概率从86% 提升到95%，不匀称次数从10次/年，下降到2~3次/年（近半年仅有1次）。
【节流特别排查人力35人日/年】：发版特别变小7次/年，单次特别排查需各方共5人日，共节流版本特别排查人力35人日/年。
【正向战略实行事先全量带来中央年收入+0.2%】：用户分层逻辑上线后，正向战略事先得出结论全量，可以带来游戏中央年游戏分发+0.1%，年游戏收入+0.2%。
【负向战略实行及时下线变小收入丧失】：提升实行负向时的推断及时性和准确性，低落负向实行长时察看带来的收入丧失，约占中央年收入的0.1%。

六、总结和展望

关于AB实行中面临的用户不匀称成绩，我们参考过往履历，颠末不休实验和探究，基于用户分层的逻辑开发了“事前用户分层”模子，并在霍金项目团队和版本公布体系项目团队的大力支持下，对不同场景举行差别化处理，在处理游戏中央AB实行中的用户不匀称成绩中取得了较好后果；在游戏中央版本灰度场景中，事前用户分层方案已基本处理了用户不匀称成绩；但在中央战略实行中，由于游戏收入数据的特别性，用户分层方案可以处理高、低付用度户在实行组中分布不均的成绩；但并不克不及完全处理高付费值非一连的成绩，故收入的动摇仍然在1%~2%，但以前远低于原有分流办法下的收入动摇幅度。

别的，现阶段接纳的“事前用户分层”方案可以大幅提升用户的匀称性概率，并不克不及完全根绝用户不匀称成绩；一方面缘故是对业务目标的分层逻辑依托于事情者的履历推断，但人工分层的逻辑存在较大的臆断性；另一方面缘故是拔取的目标较少，依托信息不够全盘；后续我们也会不休实验探究，卷入更多的目标信息，同时将机器学习等模子运用到用户分层体系搭建中，以求进一步处理游戏业务中用户的匀称性成绩。

最初渴望本文能为不同业务处理AB实行时面临的用户不匀称成绩带来参考和启示。

参考文献：