证券日报APP

扫一扫
下载客户端

您所在的位置: 网站首页 > TMT频道 > TMT行业 > 正文

字节跳动A/B测试工具投入企业市场 累计已完成70多万场实验

2021-04-20 21:54  来源:证券日报网 许洁

    本报记者 许洁

    2019年,在字节跳动成立7周年的年会活动上,字节跳动创始人兼CEO张一鸣称:“有人说你们公司是不是只会A/B测试。对此,我发过一个微头条:同理心是地基,想象力是天空,中间是逻辑和工具。A/B测试只是一个工具而已,是测不出用户需求的。”

    张一鸣认为,同理心才是重要的基础。如果没有同理心,做出的产品肯定没有灵魂,不能满足用户需求。但是光有同理心还不够,这样只能做出有用的产品。想要做出彩的产品,想象力非常重要。

    如今,这款支持抖音、今日头条等产品增长迭代的A/B测试工具,被字节跳动投入到了企业级的市场。

    在4月20日召开的火山引擎技术开放日活动中,字节跳动副总裁、算法和数据技术负责人杨震原向包括《证券日报》记者在内的媒体首次揭秘了字节跳动是如何使用A/B测试的。

    A/B测试方法的优势是什么?

    资料显示,火山引擎是字节跳动旗下为企业服务的智能科技品牌,字节跳动的A/B测试工具也已通过火山引擎开放给了企业客户。

    A/B测试是指对不同策略进行对比实验,根据结果选择最优方案。事实上,A/B测试不是互联网公司发明的,而是最早应用在医学领域。十八世纪,一位英国医生把患有坏血病的水手随机分成六组,用不同方法进行治疗,从而确定了柠檬和橘子能有效治疗坏血病,这是人类有记载最早的A/B测试。在互联网时代,A/B测试被谷歌等巨头广泛使用在产品开发和运营中,有研究者也把A/B测试视为字节跳动快速增长的重要因素。

    据杨震原介绍,公司成立之初,今日头条就在做策略推荐类的A/B测试。2016年,字节跳动建立了支持大规模产品实验的A/B测试平台,之后陆续接入抖音、西瓜视频等全线业务,把A/B测试应用在产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等方方面面的决策上。

    杨震原2005年至2014年曾就职于百度,任网页搜索部技术总监,负责搜索架构。2014年初加入今日头条,他对记者表示:“对于企业决策而言,靠谱的评估方法分为经验判断、非A/B测试的数据分析以及A/B测试方法,但A/B测试方法是更接近真实,把握本质,能把因果说得更清楚的方法。”

    最新数据显示,字节跳动每天同时进行的A/B测试达到上万场,单日新增实验数量超过1500个,覆盖400多个大大小小的业务。随着公司的发展,这些数字还在不断扩大。截至今年3月底,字节跳动累计已经做了70多万次A/B测试。

    A/B测试工具并不是万能的

    杨震原对记者表示,字节跳动积累的技术能力和增长方法,会通过火山引擎提供给企业客户。火山引擎产品体系包括基础服务、技术中台、智能应用和行业解决方案,字节跳动的视频编辑、特效、文字识别、图像识别、个性化推荐等技术能力,都已在火山引擎上为企业服务,A/B测试也是其中一款重要的数据产品,能够帮助企业提高决策质量,促进业务增长。

    字节跳动相关产品负责人对记者表示,“火山引擎A/B测试支持客户端、服务端、推送、网页、可视化建站等多种实验形式,具有功能全面、高度自动化的特点,操作非常简单,即使不会编程的人也能轻松做实验,而且有内容丰富的实验报表,可智能产出实验结论,让决策链清晰完备。”

    据悉,火山引擎A/B测试的使用效果得到了客户认可。以悟空租车为例,该公司已通过火山引擎进行了70多次A/B测试,约有60%为正向实验,提升产品转换率约40%,“以往需要一周时间的需求复盘数据分析,现在只要一天就能得到数据结论,更直观地量化了需求价值,极大地提升了效率。”上述负责人表示。

    在积极为火山引擎“带货”的同时,杨震原也指出A/B测试并不是万能的,它也有很多局限性,比如提高商品推荐门槛、不推荐评分低的商品,如果做A/B测试,短期内交易量肯定会降低,但长期来看结论有可能逐渐反转,这是长周期影响和目标设定的问题。此外,独立的实验条件、统计置信度等问题都是做A/B测试需要考虑的。

    杨震原称,企业应充分意识到A/B测试的优势和缺陷,对目标选择适合的评估方法。比如战略型决策,需要专家角色进行长期的思考;很多细节的决策,如果能做A/B测试,要尽量做A/B测试,并且要关注到量化分析的执行能力,真正做到数据驱动科学决策。

(编辑 田冬)

-证券日报网
  • 24小时排行 一周排行
  • 深度策划

多地密集走访调研上市公司

通过调研认真解决上市公司发展中面临的具体困难和问题,加大对优质上市公司……[详情]

版权所有证券日报网

互联网新闻信息服务许可证 10120180014增值电信业务经营许可证B2-20181903

京公网安备 11010202007567号京ICP备17054264号

证券日报网所载文章、数据仅供参考,使用前务请仔细阅读法律申明,风险自负。

证券日报社电话:010-83251700网站电话:010-83251800

网站传真:010-83251801电子邮件:xmtzx@zqrb.net

证券日报APP

扫一扫,即可下载

官方微信

扫一扫,加关注

官方微博

扫一扫,加关注