《最终的数据解读指南》

原文towardsdatascience.com/the-ultimate-guide-to-making-sense-of-data-aaa121db1119?sourcecollection_archive---------0-----------------------#2024-06-04来自 Uber、Meta 和高速成长初创公司的 10 年经验教训https://medium.com/twalbaum?sourcepost_page---byline--aaa121db1119--------------------------------https://towardsdatascience.com/?sourcepost_page---byline--aaa121db1119-------------------------------- Torsten Walbaum·发布于 Towards Data Science ·阅读时长 14 分钟·2024 年 6 月 4 日–https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/bca8367f47ab5739a6ae2fedab19128e.png图片由作者提供通过 Midjourney 创建数据可以帮助你做出更好的决策。不幸的是大多数公司在收集数据方面比在解读数据上做得更好。他们声称拥有数据驱动的文化但实际上他们在做决策时更多依赖经验。作为一名数据科学家你的工作是帮助商业利益相关者理解和解读数据以便他们能做出更明智的决策。你的影响力并非来自你所做的分析或构建的模型而是来自你帮助推动的最终商业成果。这是资深数据科学家与初级数据科学家的主要区别。为了帮助实现这一点我根据在 Rippling、Meta 和 Uber 的经验整理了这本逐步操作手册帮助将数据转化为可操作的洞察。我将涵盖以下内容应该跟踪哪些指标如何为你的业务建立收入方程式和驱动树如何跟踪如何设置监控并避免常见的陷阱。我们将讨论如何选择合适的时间范围处理季节性问题掌握分 cohort 数据等提取洞察如何以结构化和可重复的方式识别问题和机会。我们将介绍你最常遇到的趋势类型以及如何理解它们。听起来很简单但问题在于细节让我们一一深入探讨。第一部分应该跟踪哪些指标首先你需要弄清楚应该跟踪和分析哪些指标。为了最大化影响力你应该专注于那些实际推动收入的指标。从高层次的收入公式开始例如“收入 展示量 * CPM / 1000”对于基于广告的业务然后进一步拆解每个部分以了解潜在的驱动因素。具体的收入公式取决于你所从事的业务类型你可以在这里找到一些最常见的公式。结果驱动树的结构是输出在顶部输入在底部它告诉你什么因素推动了业务的结果以及你需要构建哪些仪表盘以便进行端到端的调查。示例这是一个部分基于广告的 B2C 产品的驱动树https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/71eea8fb05dacfab74cbdf201dc991a8.png作者提供的图片理解领先指标和滞后指标收入公式可能让人觉得输入立即转化为输出但现实中并非如此。最明显的例子是市场营销与销售漏斗你生成潜在客户它们转化为合格的机会最终达成交易。根据你的业务和客户类型这个过程可能需要好几个月。换句话说如果你在查看一个结果指标例如收入通常是在查看你几周或几个月前采取的行动的结果。一条经验法则是你在驱动树中走得越远某个指标就越可能是领先指标走得越近顶部你处理的就越可能是滞后指标。定量分析滞后查看历史转化窗口非常值得这样可以帮助你理解你所处理的滞后程度。这样你就能更好地向回溯如果你看到收入波动你就知道该追溯多远以查找原因以及向前预测你会知道看到新举措的影响需要多长时间。根据我的经验制定经验法则例如平均需要一天还是一个月时间让新用户变得活跃能够帮助你获得 80%到 90%的价值因此不必过度设计这一过程。第二部分设置监控并避免常见的陷阱所以你有了驱动树那你如何利用这个来监控业务的表现并为利益相关者提取见解呢第一步是设置仪表盘来监控关键指标。我不会深入比较你可以使用的各种 BI 工具以后我可能会在单独的文章中做这个比较。我在这篇文章中谈到的所有内容都可以轻松地在 Google Sheets 或任何其他工具中完成因此你选择的 BI 软件不会成为限制因素。相反我希望集中讨论一些最佳实践帮助你理清数据并避免常见的陷阱。1. 选择适当的时间框架来衡量每个指标虽然你希望尽早捕捉趋势但需要小心不要陷入过于细化数据的陷阱避免从大多数噪音中得出结论。考虑你正在衡量的活动的时间范围以及你是否能够基于数据采取行动实时数据对于像 Uber 这样的 B2C 市场非常有用因为1)交易生命周期很短一次 Uber 出行通常在不到一个小时内完成请求、接受和完成并且 2)因为 Uber 有应对实时变化的工具例如动态定价、激励措施、司机沟通。相反在 B2B SaaS 企业中由于长期的交易周期日常销售数据会显得比较嘈杂且不易采取行动。你还需要考虑你在设定目标时的时间范围。如果你的合作团队有月度目标那么这些指标的默认查看方式应该是按月。**但是**月度指标甚至更长时间周期的主要问题是你可以用来分析的数据点很少并且需要等待很长时间才能得到更新的表现视图。一种折衷方法是将指标绘制为滚动平均这样你既能捕捉到最新的趋势又能通过平滑数据去除很多噪音。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/f46a0838681f98c933f675907cf04eaf.png作者提供的图片示例看左侧的月度数据我们可能会得出结论认为我们有很好的机会达成四月的目标然而查看 30 天的滚动平均时我们发现收入生成急剧下降我们应该尽快调查这个问题。2. 设置基准要从指标中得出见解你需要能够将数字放入上下文中。最简单的方法是将指标随时间对比该指标是在改善还是在恶化当然如果你知道自己希望该指标达到的确切水平那就更好了。如果你有一个与指标对齐的官方目标那很好。但即使没有你仍然可以通过推导出隐性目标来判断自己是否在正确的轨道上。示例假设销售团队有月度配额但他们没有明确的目标来确定需要生成多少销售线索才能达成配额。在这种情况下你可以查看开放销售线索与配额的历史比例“销售线索覆盖率”并以此作为你的基准。请注意通过这样做你隐含地假设了业绩将保持稳定在这种情况下假设团队以稳定的速度将销售线索转化为收入。3. 考虑季节性因素几乎在任何业务中你都需要考虑季节性因素来正确解读数据。换句话说你所查看的指标是否存在按照一天中的时间、星期几、每月时间、日历月份等重复的模式示例看看这个 B2B SaaS 企业的新 ARR 月度趋势https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/3e47017ef9e11dc867f700d7d6251b2a.png作者提供的图片如果你查看这个简单的柱状图中 7 月和 8 月新 ARR 的下降你可能会感到惊慌并开始进行广泛调查。然而如果你将每一年的数据叠加在一起你能够识别出季节性模式并意识到每年都有一个夏季低谷你可以预期业务将在九月再次回升https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/897b009ca5ce7a987e1302e970670614.png图片由作者提供但季节性并不一定是按月来定义的可能是某些工作日的表现较强或较弱或者你通常会看到业务在月末开始回升。例子假设你想查看销售团队在当前月份四月的表现。现在是本月的第 15 个工作日截止目前你已经完成了 26,000 美元的销售额而目标是 50,000 美元。如果忽略季节性因素看起来团队将会未达目标因为你只剩下 6 个工作日了。然而你知道团队通常会在月末完成大量交易。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/6dc1f08c7232ff1270959b49939aaa4e.png图片由作者提供在这种情况下我们可以绘制累计销售额并与前几个月进行比较从而理解模式。这让我们看到实际上我们在本月的这个时候处于一个不错的位置因为销售趋势并非线性。4. 处理“尚未成熟”的度量在分析度量时最常见的一个陷阱是查看那些还没有足够时间“成熟”的数字即尚未达到最终值的数字。以下是一些最常见的例子用户获取漏斗你正在衡量从流量到注册再到激活的转化你不知道最近的注册中有多少会在未来转化销售漏斗你的平均交易周期持续几个月你不知道近期的未完成交易中有多少会最终成交留存你想了解某一特定用户群体在你的业务中保持活跃的情况在所有这些情况下近期用户群体的表现看起来比实际情况差因为数据尚未完整。如果你不想等待你通常有三种选择来解决这个问题选项 1按时间周期切分度量最直接的方式是按时间周期切分汇总度量例如第一周转化率、第二周转化率等。这样可以在进行横向比较时避免偏向较老的用户群体并且能提前了解结果。然后你可以在一个用户群体热力图中显示结果。以下是一个关于获取漏斗跟踪从注册到首次交易的例子https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/77a2f1ddb5d405dc4e5c1b82f0622740.png图片由作者提供通过这种方式你可以看到在对比相同条件下我们的转化率在下降我们的第一周转化率从超过 20%降至最近用户群体的约 15%。仅通过查看汇总的转化率最后一列我们无法区分数据不完整所导致的实际下降。选项 2更改度量定义在某些情况下您可以改变指标的定义以避免查看不完整的数据。例如与其查看 3 月份进入管道的交易到目前为止有多少达成您可以查看 3 月份关闭的交易中有多少是赢得的多少是失去的。这个数字不会随着时间变化而您可能需要等待几个月才能看到 3 月份交易组的最终表现。选项 3预测基于过去的数据您可以预测一个群体的最终表现可能会如何。随着时间的推移和更多实际数据的收集预测将会趋近于实际值。**但要小心**预测群体表现时应小心谨慎因为这很容易出错。例如如果您在一个 B2B 业务中工作且赢得交易的比率较低一个单独的交易可能会显著改变群体的表现。准确预测这一点非常困难。第三部分从数据中提取洞察所有这些数据都很棒但我们如何将其转化为洞察呢您不会有时间定期深入研究每个指标因此可以通过优先查看最大的差距和关键变化来管理您的时间团队在哪些地方未能达到目标您在哪些地方看到了意外的超额表现哪些指标在下降哪些趋势正在反转一旦您选择了一个感兴趣的趋势您需要深入挖掘并找出根本原因以便您的业务合作伙伴能提出有针对性的解决方案。为了为您的深入分析提供结构我将逐一介绍您可能遇到的关键指标趋势类型并根据实际经验为每种类型提供具体示例。1. 净中性变动当您看到某个指标剧烈波动时首先应该向上查看驱动因素树而不是直接向下。这样您可以看看这个数字是否真正推动了您和团队最终关心的事情如果没有找出根本原因的紧迫性就会降低。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/682a4f033f9adb65765963ce271a2ee3.png图片由作者提供**示例场景**在上面的图片中您看到网站上的访问到注册的转化率大幅下降。与其惊慌失措您查看了总注册数发现该数字保持稳定。事实证明平均转化率的下降是由于网站上低质量流量激增造成的而您的“核心”流量表现保持不变。2. 分母与分子在处理比例指标每个活跃用户的展示量、每个共享乘车司机的行程数等时首先检查是分子还是分母发生了变化。人们往往认为是分子发生了变化因为那通常是我们在短期内试图提升的参与度或生产力指标。然而很多情况下情况并非如此。示例包括您看到每位销售代表的潜在客户数量下降因为团队刚刚加入了一批新员工而不是因为您存在需求生成问题。每小时每个 Uber 驾驶员的行程下降并不是因为乘客请求减少而是因为团队提高了激励措施更多的司机上线了。3. 隔离/集中趋势许多指标趋势是由只发生在产品或业务的特定部分的因素推动的聚合的数字并不能讲述完整的故事。隔离根本原因的一般诊断流程如下步骤 1继续分解指标直到你隔离出无法进一步分解的趋势。类似于在数学中每个数字都可以分解成一组质数一样每个指标都可以进一步分解直到达到基本的输入。通过这样做你能够将问题隔离到司机树的特定部分从而更容易定位问题所在并决定应对措施。步骤 2对数据进行分段以隔离相关趋势通过分段你可以找出是否是业务的某个特定领域出了问题。通过在以下维度上进行分段你应该能够发现超过 90% 的问题地理位置地区/国家/城市时间月份中的时间、星期几等产品不同的 SKU 或产品表面例如 Instagram Feed 与 Reels用户或客户人口统计年龄、性别等单一实体/行为者例如销售代表、商家、用户让我们来看一个具体的例子假设你在 DoorDash 工作看到波士顿的完成送货数量相比上周下降。与其集思广益寻找增加需求或提升完成率的方法不如先尝试隔离问题这样我们就能制定更有针对性的解决方案。第一步是分解指标“完成的送货”https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/725ab83453c85ff1b917d28038ee02a4.png作者提供的图片根据这个驱动树我们可以排除需求端的问题。相反我们看到最近在波士顿我们在寻找司机接单方面遇到了困难而不是餐厅和快递员交接或食物送达方面的问题。最后我们将检查这是否是一个广泛的问题。在这种情况下一些最有前景的切入点是查看地理位置、时间和商家。商家数据表明这个问题是广泛存在的影响了许多餐厅所以它并不能帮助我们缩小范围。然而当我们为指标*“没有找到快递员的送货请求”*创建时间和地理位置的热图时我们发现大部分问题发生在波士顿郊区的夜间https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/1fc216f3708646d75b22e561e61eab11.png作者提供的图片我们该如何处理这些信息能够像这样 pinpoint 问题能够让我们在这些时间和地点部署有针对性的快递员招募工作和激励措施而不是把它们撒播到整个波士顿。换句话说隔离根本原因使我们能够更有效地部署资源。你可能遇到的其他集中趋势示例大多数在线游戏中的游戏内购买来自少数“鲸鱼玩家”所以团队会将其留存和参与度的努力集中在这些玩家身上大多数支持工单的升级到工程团队是由少数支持人员引起的这为公司提供了一个有针对性的杠杆通过培训这些支持人员来释放工程团队的时间4. 混合变化诊断表现时最常见的困惑来源之一就是混合变化和辛普森悖论。混合变化只是总人口组成的变化。辛普森悖论描述了这样一种反直觉的现象你在总人口中看到的趋势在查看子组件时消失或反转反之亦然。这在实践中是什么样的呢假设你在 YouTube 工作或者其他任何有广告业务的公司。你发现收入正在下降当你深入分析数据时发现 CPM 已经下降了一段时间。CPM 作为一个指标无法进一步分解因此你开始对数据进行细分但却难以识别根本原因。例如所有地区的 CPM 看起来都很稳定https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/4fc5aa06d0bd34067f964b1d609b1638.png图片由作者提供这里就是混合变化和辛普森悖论的体现每个单独地区的 CPM 保持不变但如果你查看按地区划分的印象组成你会发现印象的组合正在从美国转向亚太地区。由于亚太地区的 CPM 低于美国整体 CPM 正在下降。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/2b773a0b20d8fbbae1cf01570f4787a0.png图片由作者提供再次强调了解准确的根本原因可以提供更有针对性的响应。根据这些数据团队可以尝试在高 CPM 地区重新激发增长考虑为亚太地区提供更多的货币化选项或通过在大亚太市场中大量增加印象量来弥补单个印象的较低价值。最后的思考记住数据本身没有价值。只有当你用它来生成洞察或为用户或内部利益相关者提供建议时它才变得有价值。通过遵循一个结构化框架你将能够可靠地识别数据中的相关趋势按照上述提示你可以区分信号与噪声避免得出错误的结论。如果你对更多类似内容感兴趣可以在 Medium 上关注我或在LinkedIn和Substack上关注我。