2.1.1 系统性分析

对APP做系统性的全面分析，实际上是带着检验“用户满意度”和“内容分发效率”的目的对APP产品运营指标的一次全面复盘。我们通常会采用如下的方法和流程。

1）产品功能与内容分解。

2）核心指标分解。

3）交叉分析，定位“增长点”。

1.产品功能与内容分解

以某资讯类APP为例，它的核心功能分解如图2-2所示。

产品核心功能与内容的分解通常是原子化的拆解，即拆解到每一个独立的业务模块及与用户交互的最小功能单元，依照的基本逻辑是，可以基于拆解的每一个独立模块单独构建模型而不影响其他模块。

2.核心指标分解

同样，我们也需要对核心指标进行分解。通常，产品经理会把核心指标称为北极星指标，顾名思义，就是指导、激励产品发展方向的长期目标，指标分解的目的是把长期目标拆解为过程性的指标体系，而系统性分析的目标就是从这些过程性的指标里找到产品的薄弱点，也就是推荐算法可以驱动增长的点。

还是以某资讯类APP为例，我们将它的核心指标DAU和用户时长进行图2-3所示的方式分解。

核心指标分解的核心逻辑有两个。

1）将指标按人群进行分解，人群必须细化到可以直接关联到运营抓手的程度，比如新老用户群体。通常，新用户来源于用户增长或者广告投放的策略，而老用户的规模则取决于产品对新老用户的留存效果。如果该APP还会在不同地区采取不同的运营策略，则继续按地区维度分解新老用户。

2）按照影响指标波动的前因后果的相关因素进行分解，比如，整体的消费总时长来源于曝光后的点击转换及单次点击后消费的时长，整体时长下降可能归因于点击率下降，也可能是点击后单次消费时长下降。在指标分解中，所有相关的因素必须分解到位，这样才能保证在归因分析中不遗漏关键因素。

3.核心功能与指标的交叉分析

假设资讯类APP整体DAU为1000万，通过产品功能与核心指标分解后进行交叉分析，其指标数据如表2-1所示。

表2-1中的指标数据来自图文+视频资讯类APP，那么，根据交叉分析后的结果数据，结合产品核心功能点以及关键业务指标的数据解读，我们可以从中推断出一些推荐算法迭代优化的线索。

1）视频页信息流曝光用户人均时长明显高于首页（图文+视频）信息流，所以，从增加APP人均时长的目的出发，我们可以考虑对视频的“重度”用户在首页增加视频推荐内容占比，但需要注意的是图文类内容的人均内容消费量指标通常要高于视频类，因此推荐内容占比的改变可能会带来指标之间的此消彼长，必须权衡考虑，这实际上也会涉及推荐算法中异构内容混排方向的算法和策略。

2）直播（包含频道和直播关注页）和沉浸式小视频的曝光用户人均时长与有效消费用户人均时长的差异明显大于视频页信息流（这里的“有效消费”是指单次观看超过一定时长），这说明，直播和沉浸式小视频推荐算法只对部分用户的效果较好（通常会出现喜欢的用户很喜欢，不喜欢的用户很不喜欢的两极分化的情况），需要继续分析效果好和不好的情况在用户的人群属性特征或者物品的品类属性上的差异点，找到关键差异点后，可以在排序模型中增加相关的特征或者尝试对不同用户群体、不同物品品类分开建模。

3）直播频道和直播关注页的曝光用户人均时长和有效消费用户人均时长同样差距很大，这说明部分用户可能存在对主播的显著倾向性（只看某几个自己关注的主播），长此以往容易造成用户跟随主播迁移到其他APP的情况，所以相似主播间的受众群体的推荐多样性需要加强，同时可以适当增加长尾主播的内容分发。

4）存在部分用户对“播放历史”功能的依赖比较大（依赖性大是指曝光点击率和曝光用户人均时长两个指标较其他场景高出很多）的情况，需要进一步分析这些用户是否存在类似“追剧”的行为，以便针对性地推送内容“追打”。

5）存在小部分搜索用户人群，但点击和转化都相当低。同样需要进一步分析，是搜索词与搜索结果的匹配度有待提升，还是存在很多搜索无结果或者少结果的情况，推荐算法作为搜索的补充，可以针对这部分搜索词专门做一个无结果内容的个性化推荐。

首先，产品的系统性分析是一项体系化且需要对商业和数据具有较强敏感度的工作，我们在具体分析的时候，最容易只罗列产品和运营结果的事实数据，一味追求大而全的分析指标，比如，产品的日常运营情况、业务模块、功能细节点相关数据，一应俱全，看似面面俱到，实则容易看花了眼，失去了关注的焦点，反而没有指导意义。所以，我们要始终根据实际的业务目标，抓住核心问题：关键指标中的哪些部分是推荐可以影响的？是直接影响还是间接影响？明确了这个问题，也就明确了我们分析工作的基本面，也就会从始至终清楚要统计什么数据，要推断什么结论。

其次，分析工作开始前，首先要做好统计口径和指标归因的梳理。比如在电商场景中，用户的消费存在一定的从众心理，购买后又存在退货的情况，此时我们如何定义“有效消费行为”指标？视频APP里有不同的频道、模块，频道之间可以通过内容里的链接互相跳转，那么单个频道的转化效果怎么归因？算第一次、最近一次，还是都算？用户从首页点开视频后马上关闭，之后又从“播放历史”中看完了这个视频，这算一次正向的消费完结行为，还是两次消费行为（一次负向一次正向）？这些统计口径和归因逻辑不仅算法团队内部要统一，还要和产品、运营同事达成共识，最重要的是口径的体系化，不同指标之间的统计口径和归因逻辑不能存在相互冲突和矛盾的地方。

再次，在分析过程中，还必须考查统计指标的可靠程度。可靠程度通常可以从指标的信度和效度来衡量。信度与效度的概念最早来源于调查分析，后来被人们沿用到数据分析工作中。所谓信度，是指一个数据或指标自身的可靠程度，包括准确性和稳定性。比如，当一个业务规模很小的时候，转化率、人均时长等效率性指标就会有较大的波动，那么这些指标的日均波动就不能成为业务效果增长和衰退的体现。为了增加业务趋势变化指标的可靠程度，我们可以通过拉长统计周期来进行观察。所谓效度，是指一个指标的生成需要契合它所要衡量的事物，即指标的变化能够代表该事物的变化。比如，一个电商APP客单价指标的提升，是否能反映用户购买力的提升？在实际业务中，有可能会存在其他的原因，比如优惠活动减少，使得喜欢低价的用户不再购买，也就是客单价的计算公式中分母变小，导致人均客单的增加，而并非因为整体购买能力的提升。因此，我们必须在信度和效度上综合考虑指标，只有在这两点上都达标，才是一个有价值的数据指标。

然后，对于数据分析的结果，我们还要进一步洞察数据的细节，用细节还原业务线索。通过诸多的相关数据将整个分析结果客观、有逻辑、有因果地还原出来。比如，上述分析中发现的曝光用户人均时长与有效消费用户人均时长差异的情况，我们可以继续深挖细节：这些差异是体现在某部分人群中，还是出现在某些内容引导的流量中，具体来说，是新用户、低频用户拉低了整体的人均消费时长，还是某一品类的内容消费时长过低引起整体的降低？如果是新用户、低频用户引起的，那么是不是这部分用户的个体偏好标签缺失引起的推荐不精准？如果是，我们是否可以计算群体标签，用群体标签代替个体标签来推荐相关内容？如果是某一品类的内容引起的，那么我们是否可以在推荐的重排序策略中对相关内容进行一定的降权？这些细节的洞察、指标的细化、推断的过程环环相扣，逻辑缜密，最终从数据表象得到业务线索。

最后，根据上述的分析结果，结合产品的现状和资源，确定具体的算法优化思路、改进方向。综合上述内容，我们便完成了整套的系统性分析，最终转化为推荐算法的发力点和优化线索。