火山引擎A/B测试平台_ab实验

火山引擎A/B测试平台

火山引擎旗下的A/B测试智能引擎，基于先进的底层算法，通过分组ab实验，得出科学决策，先验结论，保证体验，降低风险，实现复利效应，帮助企业进行产品改版优化、运营活动优化、新功能灰度发布，实现持续增长

什么是A/B实验？

A/B 实验也被称为对照实验，本质为分离式组间实验。其方法就是针对某个想优化的功能/UI/策略等，制定两个方案，将用户流量随机分成两组，在保证每组用户特征相同的前提下，让不同组使用不同的方案。最终结合科学的统计算法，通过实验数据对比来确定最优方案。

A/B实验能帮我们解决什么问题？ icon

确保每个决策都带来正向收益，实现复利效应，持续循环增长

消除产品设计中不同意见的Battle，根据实验效果确定最佳方案。让大胆创新，快速试错成为可能，检验新策略上线后的效果。

通过实验，快速定位问题的真正原因，提高产品设计和运营水平。通过A/B测试，降低新产品或新功能发布的风险，为产品持续迭代提供保障。

字节跳动A/B测试文化：A/B测试是决策的依据 icon

成功支持字节跳动产品高速增长迭代，沉淀了海量的最佳实践和方法

产品优势

9年产品打磨70万+次实验验证

适配多种通用化场景

提供可视化实验、动态流量调优、多链接实验、Push实验、性能试验、多变量正交试验

强大灵活的人群定向

支持灵活的属性规则、事件流、画像标签配置，可上传用户分群，精准圈选受众

稳定可靠的分流机制

分流均匀且随机，稳定支持高并发场景，实验可暂停/冻结，保证实验用户进组不出组，实验结果更可靠

科学智能的评估策略

沿用字节跳动内部统计策略，依托经典统计学&贝叶斯原理，提供概率分布、漏斗转换、多种留存分析

灵活的部署方式

SaaS服务

分钟级接入使用：从SDK接入，到游戏数据接入，开启数据分析，均可在几分钟内完成配置并开始广告渠道归因。极速产品功能上线：极致研发效率&产品尝鲜体验，保证每双周发版。国内国际站点独立：国内国际站点独立，保障海外用户数据合规，保证数据安全、GDPR合规。

私有化部署

小时级快速部署：专业项目交付团队，小时级高效部署，全程解放人力、时间成本。开放的生态接口：依托火山引擎营销增长套件SDK，轻松完成数据采集集成工作，无缝对接智能数据洞察、A/B测试以及增长营销等应用。售后运维体系：提供完整的运维服务，专业完善的售后服务体系，为系统稳定运行保驾护航。

火山引擎A/B测试：一站式全栈多场景实验平台 icon

我们如何帮助企业增长 icon

产品

产品功能迭代产品核心功能迭代该采用哪一版方案?利用小部分流量进行互斥A/B测试，在不影响用户体验的同时，从多种方案中找到最优解

用户路径设计评判多种用户路径方案，可建立A/B测试，观测转化漏斗指标，计算各环节转化率，将转化率最佳的方案全量发布至线上 Ul&交互优化 UI或交互大改版，可通过A/B测试，对比不同布局或交互方案下的点击、转化、留存等指标，找到最佳迭代版本

运营

运营活动优化运营活动的形式、运营位、落地页等，均可通过A/B测试优化，持续迭代文案、素材、页面布局等要素,最大程度提高活动转化和付费留存

推送方案择优靠经验判断用户喜好难免有偏差，开启推送实验，科学地选择推送文案、落地页样式,还可对推送时机、平台、通道或提醒方式进行实验

可视化编辑用简单的拖移操作，即可完成页面图片和文本的替换或编辑，元素位移或新增等操作，并可直接圈选元素进行可视化埋点，无需编码

市场

投放落地页优化利用A/B测试，对投放落地页的标题、图片、文案、表单域及整体布局等进行可视化编辑，多版本投放,择优选择,提升线索转化

以单链接投放多个页面利用多个广告计划投放不同页面，流量分配不均;多链接实验可将访问同一链接的用户均匀分流至不同页面，指标对比更科学，便于择优

投放智能择优智能流量调优应用贝叶斯原理，可实时对比指标，流量自动向表现最佳的投放页倾斜，动态更新流量配置，稳定实现ROI最大化

研发

推荐算法优化利用A/B测试，小规模验证算法迭代效果，避免负向表现带来大范围影响，适用于基于内容、协同过滤和关联规则的各类推荐算法

灰度发布与功能开关与智能发布平台打通，提供灰度发布功能，研发者可在功能迭代时逐步放量，出现问题一键回滚，及时止损，避免影响用户体验

发布质量把控应用性能监控模块涵盖代码冗余检查、热升级、版本质量评估、代码清理等功能，提供完善的数据异常告警及容灾机制，保障发布质量

先进科学的实验分流策略 icon

分流服务的作用：

• 保证用户随机、均匀的进入不同的实验组

• 保证流量大规模复用：同层互斥，层间正交

实验层技术：

• 实验层技术是为了让多个实验并行而不相互干扰，且都获得足够的流量而研发的流量分层技术

• 我们把总体流量复制无数遍，形成无数个实验层，让总体流量可以无数次复用，从而提高实验效率

多场景多领域的特型实验模板（1/6） icon

个性化推送实验

促活提留的push 推送策略实验，用于提升活动收益率。支持极光、个推、 Webhook、FCM 、APNs等渠道。

可视化建站实验

着陆页UI风格实验，无需研发，可视化配置和编辑页面元素。

多链接网页实验

多个活动页/着陆页效果对比实验，同一入口不同跳转 URL。

客户端编程实验

前端UI交互优化、功能迭代、页面布局等实验，支持iOS、 Android、Web等多端。

服务端编程实验

后端策略优化、算法模型优化实验，支持Java、 Python、Go、 PHP等多语言。

推送实验-营销增长的有力武器（2/6） icon

实验场景：推送方案选择难，无法决策哪种效果佳；变更影响大，担心带来负增长和淤舆情

实验类型：支持iOS、Android应用，属于服务端实验；推送过程中需要与客户端交互，因此目标受众可使用客户端属性

前置条件：配置好对应推送通道；接入客户端SDK

可视化建站实验，无需编码，快速落地实验（3/6） icon

实验场景：广告/活动H5推广落地页优化；针对单个页面进行图片、文本编辑替换、元素位置移动等操作

实验类型：支持Web端网页、H5页面创建可视化实验；实验类型为客户端实验

前置条件：接入Web/H5/WAP SDK

多链接实验，落地页赛马不再难（4/6） icon

实验场景：网站首页大改版实验，节日大促活动页优选，多渠道落地页推广实验

实验类型：支持Web端网页、H5页面创建多链接实验；实验类型为客户端实验

前置条件：接入Web/H5/WAP SDK

前端优化、策略优化和后端算法优化实验（5/6） icon

服务端实验：通过服务端获取实验分组信息并控制配置生效或下发的实验，如内容分发算法、推荐算法等由服务端逻辑控制的产品功能

客户端实验：通过客户端获取实验分组信息并控制配置生效的实验，如客户端的UI样式、交互功能设计等App唤起时，配置即需生效

特殊实验场景：父子实验（6/6） icon

父子实验：已有一个运行中的实验，当中包含策略A，想要同时验证第二个策略B与策略A的组合效果，可以开启父子实验

场景示例：新闻类App，父实验为是否向用户打开「娱乐」频道。后续在产品迭代进程中，在此基础上开启子实验，针对已打开「娱乐」频道的实验版本中的用户，提供不同功能布局和样式，以观测用户的使用时长和留存。

创建完实验不知道开多少流量？【流量计算器】 icon

避免流量浪费：线上流量是宝贵的，通常同⼀互斥组会有多个迭代同时进⾏，⼀个占据10%流量就能满⾜统计功效的实验，如果把流量开到100%显然浪费

降低线上损失：实验中常常会测试新的策略，新策略相⽐⽼策略通常有更⼤的⻛险，⼀旦出现问题，⼩流量实验影响⾯更⼩

灵活的指标构建及管理，快速创建核心优化指标 icon

核心指标：核心指标，用来决策实验功能是否符合预期的「直接效果指标」也叫「成功指标」。只可以设置一个指标为某个实验的核心指标，可在实验报告里面查看实验数据。

必看指标：必看指标，指的是必须守护的业务线指标，实验功能可能对其无直接的因果关联、无法直接带来提升，但一般而言不能对其有显著负向影响

丰富的实验报告，让决策链科学清晰 icon

实验报告是整个实验环节最为关键的一个部分，实验报告如果有指导性的错误，那直接会让决策者错误判断，甚至推错策略，造成不可逆的负向影响，因此实验结论必须要科学、全面、客观。

Feature Flag智能发布，严控上线风险，差异化发布场景 icon

A/B实验助力营销增长 icon

掌通家园：简单的文案调整，如何造成转化的大幅提升？ icon

悟空租车：为什么延长了用户支付路径，收入反而增长7% icon

CP：面对一言难尽的增长结果，只需一个诀窍就可以逆风翻盘 icon

CP：跳出实验，二次分析 icon

引流到下一页的效果明显，实验版本直到支付环节总的提升不明显下一步增长方向“优化支付转化”

方向一：优化「会员介绍页」配置许多用户来到了「会员介绍页」但却并未完成支付，因此CP准备针对该页面的价值传递进行优化。比如尝试替换文案、调整设计等实验，持续寻找并验证可以提升用户支付表现的新方案。

方向二：持续验证「提前呈现会员价值」策略基于新入口引流表现，CP认为「提前呈现会员价值」策略仍具有潜力，并准备通过用更激进的方式让用户快速了解到会员的价值。因此，CP准备考虑开设免费体验一周会员的实验，通过小流量先行验证免费方案的实际表现，在科学评估新方案表现的同时，可以规避直接全量上线新方案而带来的风险。

坚果云：一句文案的调整，让红包活动参与人数增加117% icon

结论：坚果云通过与数据优化师合作，进行了活动文案的A/B实验，解决了无法有效找到最佳文案的问题，使得参与投票人数增加36%，活动分享人数增加117%。