本文源于今日头条算法工程师曹欢欢的分享，笔者结合自身理解和思考加以总结梳理，力求整理出每个产品经理都可以在实操中运用的科学设计产品方法论。

今日头条用了短短 5 年时间，成为移动端新闻媒体的独角兽， 2016 年末，，完成 10 亿美金D轮融资，估值近 110 亿美元，成功挤入互联网第二梯队。如一句老话所说，世上没有平白无故的成功，当了解了今日头条如何打磨产品功能和交互设计后，笔者发现其成功是一定的，也是有迹可循的，这一切都源于自上而下的数据化思维。

本文源于今日头条算法工程师曹欢欢的分享，笔者结合自身理解和思考加以总结梳理，力求整理出每个产品经理都可以在实操中运用的科学设计产品方法论。

本文共分六个模块：

一、今日头条前世今生–介绍今日头条近期数据，今日头条的源起

二、数据思维做产品–CEO张一鸣如何解读数据思维，详述三个方法论

三、数据思维指导算法演化–头条保举算法概述

四、今日头条的A/B测试系统–超级强大的科学实验系统

五、需求从何而来？数据收集到何种程度？–科学严谨的实验态度处理需求，收集全量用户行为

六、如何低成本完成有效A/B测试–A/B测试的原则，注意事项、实践方法和案例分析

介绍方法论之前，我们来看看今日头条究竟有何成功之处。今日头条是一个个性化信息保举平台，基于大数据和人工智能，做到信息保举的千人千面， 2017 年 6 月数据显示，今日头条日活用户超 7700 万，月活用户近1. 8 亿，日均使用时长超 76 分钟，日均启动次数超 13 次，如此活跃的数据，出现在一个新闻信息类应用实属罕见。接下来，笔者带着大家来一起探秘今日头条的成功之道——数据思维打磨产品。

今日头条从起名字开始就运用了数据思维，创始团队没有头脑风暴，没有投票，没有老大拍板儿，而是采用科学实验的方式，通过数据不雅观测确定了头条的名称。实验方法如下所属：

首先，将appstore上各类免费榜单的前 10 名整理出来，然后按照名字归类（朗朗上口口语类，内涵情怀类，模拟特殊声音类，公司名+用途类等），分析那各类数量占比。分析结论是朗朗上口的大口语效果最好。

其次，分渠道A/B测试，确定先验效果类似的发布渠道，别离投放，界面功能logo完全一样，统计各个渠道的用户下载和活跃等核心数据指标，《今日头条》效果最好。

今日头条CEO张一鸣所定义的数据思维包罗三个维度：

收集数据。无偏，全面，客不雅观。

做出决策。按照数据做决策，抛弃主不雅观经验，情感因素，做到客不雅观解释。

高效执行。 3 个方法论（归纳总结，A/B测试，双盲交叉验证）+高效A/B测试系统

根据特定维度对目标排序，分析top对象在特定属性上的共同点。

（1）A/B测试定义

A/B测试是一种把实验对象随机分组，把一个或多个测试组的表示与对照比拟较，进行测试的方式。

（2）A/B测试目的

通过科学实验设计，在保证采样样本无偏，有代表性的前提下，流量分割与小流量测试等方式，获得具有代表性的实验结论，并确信该结论在推广到全部流量可信。

注意事项：测试组和对照组不要设计多个变量同时测，一次实验只设置唯一变量，同时实验组内分小组，尽量保证组间数据随机分布，便于分析数据颠簸影响。测试前需要定义核心不雅观测指标，通过指标数值变革，确定实验结果的好坏。

交叉验证用得最多的场景是涉及到人工运营的场景，在评估时需要人工介入为文章分类，以保证保举的准确，那么评估和审核都需要依赖人，人员能力的差异和流动性导致评估和审核尺度会变来变去，这就需要机器可以监控人的行为，每个评估的运营人员有本身一个任务队列，把一个要评估的样本至少放到两个以上的评估队列里面去，就意味着一个样本最少有两个人看过，如果他们意见纷歧致，我们有一个资深的仲裁小组进行仲裁。