你的偶像正在直播中，
可用的推荐票
GTA5讨论群QQ号
礼物加载异常，请点击重试
礼物正在加载中，请稍后......
加载失败，请点击重试
（错误代码：001）
登录后查看你的排名
我未上榜╮(╯▽╰)╭
最佳战绩：
本视频还没有人送礼╮(╯▽╰)╭
有钱任性，赏TA一个礼物呗~
加载失败，请点击重试
（错误代码：001）
0人正在看，条弹幕
本作品还没有弹幕╮(╯▽╰)╭
等你来一发！
加载失败，请点击重试
（错误代码：001）
投推荐票最多的观众
送礼值最高的观众
加载异常，请点击重试
（错误代码：005）
同专辑作品
作者更多作品
我来说两句...
现在还没有评论哦~快来抢沙发！
加载异常，请刷新重试
王者荣耀星耀榜&&排名&第50名
加载异常，请点击重试
（错误代码：005）
视频作者排行
新的一周开始啦，速来打榜赢福利！
加载失败，请点击重试
（错误代码：001）
加载失败，请点击重试
（错误代码：001）
版权声明：
未经爱拍原创授权，任何第三方不得以转载、修改、复制、出版及其他方式使用本站视频。
确定取消关注TA (⊙o⊙)？
我再想想心意已决
下载爱拍APP
粤网文[8号
爱拍网违法和不良信息举报电话：
举报邮箱：
版权所有 广州爱拍网络科技有限公司
关注爱拍公众号
微信扫码关注或微信
搜索 “爱拍原创”
关注爱拍官方微博
微博扫码关注或精准测试（12）
随着TBS的迅猛发展，接入方越来越多。那么TBS内核发布时，如何在有限的时间人力下，合理评估对线上众多合作方版本的影响？来看看我们TBS测试是如何完成这项“不可能的任务”的。
先上个TBS三方下半年的测试效果数据：我们在测试人力投入不变的前提下，顺利完成4个TBS大版本的发布，有效保证了线上合作方的版本质量。
回首曾经——那些年的测试苦恼
TBS，即腾讯浏览服务 (Tencent Browsing Service) 的简称。
随着TBS的发展壮大，陆续有多家APP跟我们合作，发布了TBS版本的APP，使用TBS内核为其提供浏览服务。
那么问题来了，对于这些合作应用，在TBS内核发版时，我们如何确保各家的线上版本不受影响呢？
项目初期，我们采用的是“头部覆盖”方式，即重点对PV排名top的应用进行测试。在当时来看，由于接入个数不多，这种方案的效果还是不错的。但是随着越来越多的APP接入，下半年合作APP发展到上千家，总PV达到几亿。此时无论是三方个数还是量级，显然我们原有的“头部覆盖”方式已不能满足需求，而另一方面，线上非头部三方，因为TBS内核更新导致的问题扑面而来，让我们陷入了深深的苦恼。
更要命的是，通常定义，一个常规APP的“bug影响人数”是这个功能的统计人数，可对于TBS这种合作类产品，一旦出现线上问题，很可能对合作关系造成严重影响，“下架”成了我们不得不面对的问题。从某种意义上来说，我们TBS三方“bug影响人数”就是所有用户量。
于是我们TBS测试面临一个巨大的考验：每次TBS发版，高PV的好几十个三方APP都要测试到，以现有的时间和人力，怎么看都是个不可能完成的任务。
1、APP个数多。目前线上三方APP 上千家，其中重要的近百家 。在有限的时间人力下，如何确保这么多线上APP不受影响？
2、硬件覆盖度：机型、系统、各种网络情况 。如何对被测应用覆盖各种环境？
3、场景宽泛：某些应用场景很分散，比如购物类APP，包含的子页面不计其数 。如何覆盖到足够多的场景？
4、接入场景变更：线上版本的更新不可控，我们预知的TBS场景可能会随着合作方发版而有所变更。 如何实时更新TBS场景？
5、问题影响大：一旦出现问题会导致合作关系破裂，TBS被下架，PV严重受影响，尤其是PV高的合作方，伤不起。
初遇众测——可行性分析
企鹅众测，是基于真实用户测试的平台。众测团队接到移动APP研发团队的测试需求，一键发布众测任务，成千上万的用户同时帮产品做测试，并且覆盖全国各地用户，多种机型及网络环境。BUG探索、产品调研、数据收集、产品评测，四大类业务模块满足多种需求，多维度的用户信息帮助问题快速解决。
初遇众测，是被众测真实的用户群体所吸引。试想在TBS内核发布前，我们将无法覆盖的app以并行任务形式发放给众测用户，让他们帮助我们一起为内核质量把关，这样就能从时间和人力上减少发布风险，确保线上app质量。
有了这个想法，我们结合T实际情况，先从如何测TBS着手，反复思考最优方案，开始摸索TBS三方的众测模式。
一些方案的思考和落地，给同类型产品同学参考：
Q1：如何让用户共享到待发布内核？
解决方案：
设想1：在正式环境后台添加imei——风险较高，不可行 ；
设想2：参考宿主，扫码或网址方式添加内核——大部分三方没有入口，不可行 ；
设想3：使用Demo共享，由于Demo优先级最高，可以忽略其他影响。
Q2：TBS在终端是无法感知的，那么如何让用户有意识的去测TBS？
解决方案：
设想1：不区分，只要有问题都提上来——我们的核心目标是发现TBS问题，如果这样，审核成本过高而受益有限，不符合预期；
设想2：收集准确的TBS场景，告诉用户——合作版本的接入场景随时会变动，没法控制，不可行；
设想3：在内核打标识，比如下图的“网格线“”，以此通过页面渲染的展现效果，让用户方便的区分哪些页面跟TBS有关。这种偏主观的测试方式刚好可以发挥用户的能动性，达到测试场景充分的效果。
Q3：用户如何分辨反馈的问题是否跟TBS有关？
解决方案：最直接的办法是跟一个不接入TBS的合作版本对比，但是如何做到呢？
设想1：合作方重新打包不带TBS的版本供测试——对合作方依赖性强，不可行；
设想2：参考我们自己测试的办法，卸载本地共享到的宿主内核——用户操作太复杂，不可行；
设想3：，我们正好利用内核“可升不可降”的逻辑，只要保证被测demo包的版本号最高，那么卸载demo后三方只能使用sys，刚好与我们对比的条件符合。
联手众测——如何提测
1、发布策略
【策略一】头部应用的优先级划分：目前线上三方10W以上有近百家，我们对这些APP从“合作关系”、“PV量级”、“场景广度”、“金钱关联度”几个维度综合考虑，进行优先级划分。原则上优先级高的应用放在前期测试，最大程度减少发布风险。
（1）合作关系：不同合作方出现问题的风险是不同的。一般来说内部应用相对比较缓和，而外部应用由于自身利益考虑，对线上问题比较敏感，随时可能回退版本，下架TBS。因此，我们的策略是：合作关系越脆弱，优先级越高。
（2）PV量级：合作APP的使用人数，我们是通过上报监控来获取这部分数据的。一般来说，量级越大，说明使用人数越多，重要度也越高。
（3）场景广度：某些APP的接入场景很宽泛，涉及的页面特别多，单凭人工测试难以覆盖，可能存在遗漏导致的测试风险。
（4）金钱关联度：接入场景涉及购买、支付的APP，一旦TBS出现问题，会直接影响合作方KPI，处于对方角度，这类要特别小心。
【策略二】众测可操作性分析：我们将待轮询的APP，根据其特点，分别以“人工轮询”和“众测轮询”方式操作。经验上，功能型和游戏类APP，使用门槛较高（比如账号级别、基本使用规则等），因此我们列为“人工轮询”类。而大多数浏览型APP，偏向于页面浏览覆盖，用户上手成本较低，有一定趣味性，适合众测，我们归为“众测轮询”类。
这部分内容是比较通用的，一般来说不用发布前频繁更新，但要注意，社会热点、运营活动等因素影响下，某些APP的PV排名可能会有剧烈变化，比如前一阵直播比较火，虎牙直播的PV就突飞猛进上升到百万量级，测试要特别关注。
2、众测发布流程
第一步，进行发布前Check，准备好以下资源：
TBS demo网格线包：准备待测内核的demo包，要求内核渲染有网格线标识，方便用户识别 。
demo版本号检查：为了方便对比，demo包需要比线上内核版本号高，避免卸载demo后，共享线上内核，无法使用sys；
线上TBS场景review：检查待测线上版本的最新TBS接入场景，供众测用户测试参考；
准备相关截图：为了保证测试效果，需要对操作步骤截图指引；
确认反馈方式：本次测试的要求，如果有预埋上报log可不做要求，其他情况一般要提供截图、视频、或者logcat等信息，便于后期验证和跟进；
预期反馈描述：明确反馈问题类型，比如TBS三方主要是显示和功能问题，尽量避免需求建议吐槽等无关反馈；
设计反馈分类：要求用户对比sys，以此区分APP问题还是TBS问题，达到初筛的目的。
第二步，自助在众测官网提测。
众测发布入口/access 接口人：黄天化（化名）上传相关内容，我们就可以直接提交众测申请，等待发布了，提交成功后有邮件同步。
3、众测发布后关注
由于TBS的特殊性，线上APP版本有可能实时更新导致场景变化，如果出现，要及时修改任务内容（主要是TBS场景参考部分），避免众测用户扎堆反馈场景失效，干扰测试结果。
案例：2.4版本的墨迹天气，首页人物右侧的“红包”logo，点击进去是TBS场景，于是把这个场景写进提测内容，要求众测用户进行测试，但是任务发布后，墨迹天气的后台临时把这个场景去掉了，因此很多众测用户反馈找不到我们指定的测试场景。后来通过对线上任务的变更，修改了这个问题。后续我们提测时，也注意对不确定的场景不做指定，仅做参考。
收到众测反馈——如何审核
有意向使用众测的同学，可能最担心的一个问题就是“审核成本”。面对大批的众测用户反馈，如何在有限的时间内去找到我们最关注的内容？我们TBS通过持续的优化改进、以及众测同学的功能配合，已经小有成效。
1、审核利器
利器一：预分类设计
通过对提测任务时的分类设计，快速区分几大类问题，让用户帮我们找到重点问题。
始终无网格线：即调起问题，始终没有调起TBS，属于TBS的调起和加载问题 。
非网格线页面反馈：即APP自身问题，与TBS无关，整体优先级低。
网格线页面反馈，且卸载demo不存在：即TBS存在，sys不存在的问题。与我们的内核关系密切，优先级最高，重点验证 。
网格线页面反馈，且卸载demo也存在：即sys共有问题，优先级低，仅对严重影响体验的反馈做跟进，同步合作方。
利器二：军团的长期培养
“军团”是众测为长期任务培养的固定用户群体，也是众测服务的亮点之一 。
文档学习：我们结合TBS三方特点，以任务的方式对军团发布学习文档，并辅助以考题检验军团学习成果，提升TBS三方测试军团的TBS基础技能，从而提升反馈有效率，减少无效、无关反馈。
团长审核：要求团长对军团反馈的问题做验证和筛选，标注“重点关注”，减少我们的审核投入。
团长复现：团长用自己手机对重点问题做复现，二次确认复现概率
输出报告：团长汇总输出众测结果，给到提测方。
利器三：结果可靠性保证
我们通过以下几方面来保证众测结果的可靠性：
抽查制度：团长对测试结果抽样检查，一旦发现与反馈不符，有严格的惩罚机制 ；
用户星级：对用户TBS测试能力关联反馈质量，划分级别 ；
自动检测：以SDK形式嵌入APP中，自动收集用户的测试内容。目前未做，主要原因是合作方出于安全性考虑，比较难接受，后续打算在内部APP上做个尝试；
线上反馈重合度：正式发布后，结合线上反馈对测试内容进行review分析。
利器四：合理利用测试结果
反馈关联性：用户的反馈一定程度上反映了用户的实际使用场景，结合反馈问题的分布情况，强化某些TBS场景用例的测试优先级，建立“高危场景区”，有利于在有限时间抓住测试重点，更好的保障产品质量。
兼顾正向反馈：要求用户逐条反馈，其中也包括正向反馈，这样更合理的整体评估用户对单个场景的覆盖度。
内核能力风险评估：创建评估内核能力的7个维度：调起、显示、功能、搜索、下载、视频/音频、购买、，让用户基于从纯APP使用者的角度，发挥主观能动性，自选APP场景，整体评估TBS内核能力，更适合评估内核能力风险。
2、审核基本流程
第一步：通过预设分类，用网格线标识区分TBS相关场景、用sys对比方式排除系统问题，方便的筛选出真正和TBS有关的反馈，大幅提升测试效率。
第二步：团长验证，同步结果。要求帮派团长基于上述原则，对帮派反馈逐个进行验证，标注“重点关注”。
第三步：我们只要检查验证测试单里的最核心问题高效的完成众测任务。
审核原则：网格线页面的显示、控件功能，不关注需求优化 。
随机问题处理：严重影响体验的，先尝试优测同机型复现 ，如果仍然无法复现，联系用户配合验证。
非网格线反馈**：仅关注闪退、崩溃等严重问题，其他不关注。
网格线反馈，卸载demo不存在的：重点验证，转tapd区。
网格线反馈，卸载demo也存在的：判定为APP自身问题，转合作方接口人跟进。
可见，通过众测平台的利用，下半年我们在TBS三方测试人力不变的客观条件下，取得了了以下几方面效果：
1、 头部APP的覆盖：从原有的内核发布测试5个APP，发展到“三周轮询制度”，累积可覆盖31个头部应用，覆盖个数是上半年的6倍；
2、 硬件覆盖的提升：从原来人工测试覆盖3台机器，到下半年利用众测，可覆盖30种以上硬件；
3、 测试效率提升：上半年纯人工测试5h/APP，下半年通过任务发布的优化、审核方式的优化、以及军团的培养，成功减少到1.5h/APP,测试效率提升3倍以上；
4、 内核发布的风险评估：有轮询数据支撑，提前评估已知问题影响，更加可靠的评估发布风险；
5、 线上反馈减少：下半年没有出现因为内核发布导致的线上版本严重问题，头部应用反馈呈收敛趋势。
小结和展望
以上是我们TBS三方下半年测试的一些尝试和经验小结。目前还有一些优化方案在进行中，。
1、 合作方发版跟进：发布长期众测任务，帮派自主跟随合作方发版节奏，遇到问题反馈，以此避免合作方发版和线上内核的适配问题；
2、 自动化的结合：每日监控头部应用的核心场景，快速发现问题，解决问题；
3、 “TBS三方测试白皮书”的推广：目前先在帮派内部推广，加强用户TBS基础知识、标准化反馈排查流程，以此提升众测反馈有效率，减少测试后期审核投入。后续，希望能挂在TBS官网，作为指导文档，助力合作方自主接入。
最后，给和我们一样有发布前风险评估苦恼的小伙伴们做个推荐：
有众测、不忐忑！ 众测，你值得拥有!
关注微信公众号腾讯移动品质中心TMQ，获取更多测试干货！
版权所属，禁止转载
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：100630次
积分：2203
积分：2203
排名：第19027名
原创：121篇
评论：15条
(3)(13)(11)(4)(4)(7)(1)(6)(3)(2)(12)(11)(8)(9)(11)(8)(10)
(window.slotbydup = window.slotbydup || []).push({
id: '4740887',
container: s,
size: '250,250',
display: 'inlay-fix'已收藏本页面
许多年前，小学生们转发马化腾生日信息到5个群送qq会员。现如今，大学生们群发30个圣诞快乐有圣诞帽。重点是，上当的还是这群人。
5楼8楼，搞基不
可是，这次是真的送。。。
。。。。。。。
回复 26楼：失散谈不上，刚认识吧（认识头像哈哈）
f我就是来看楼主头像的
5楼8楼是失散多年的好兄弟。看头像就知道
圣诞帽和QQ会员，我都没兴趣，
回复 20楼：我们学校基础教育部的学生跳舞写字弹琴都非常棒，再好的地方都有不好的人 ，比较反感这种带有时代阶级歧视的段子
算了 突然看到他二次元的头像 我想想还是算了
老师教的好
回复 16楼：说句实话扩招出来的大学生真不如文盲，现在什么3+2，函授大专、电大、夜大的专科生都统称大学生，大学一个勾心斗角尔虞我诈的压社会，这样出来的大学生真不如文盲，文盲大部分都是贫苦地区的，那边人老实啊
我头像也是本人
回复 10楼：大表哥啊
回复 7楼：现在怎么觉得大学生被黑的不行了，再怎么无用也比文盲好吧
回复 2楼：ccxvgg
8楼5楼是哥俩儿
8楼头像是本人吗
你是本人不
5L头像是本人吗？
就跟当年的年轻人不顾老人的感受在广场跳迪斯科，而现在的老人不顾年轻的感受在跳广场舞一样，人还是那群人始终没有变过
时间在流逝，智商还在原地
昨天我那上大学的傻弟弟，就给我说了
重点是，还是这群人
呼呼。。。楼主今天群发了没。
后才能发表评论
你可能喜欢的图片笑话
最受欢迎的爆笑笑话
扫码下载糗事百科app}