在这篇博文中,我们将研究最常用的 ML 建模技术可能会误解数据中的真实关系的不同场景。在这里,我们试图改变这种范式,以根据估计因果关系和衡量目标 KPI 结果的治疗效果,找到超越虚假相关性的可操作见解。 

因果ML的动机

如果我们获得历史或观察数据,其中去年有 5% 的客户流失了产品,那么每个企业主的目标都是通过开展有针对性的活动来降低这一百分比。我们通常构建流失客户的预测经典倾向模型(倾向评分 – 给定客户行为协变量(如 CLV、RFM 等)的流失概率),并通过选择阈值向客户规定折扣或追加销售/交叉销售。 

现在,流失经理想知道活动的有效性;我的客户是由于促销优惠或营销活动而留住的,还是相反?这需要传统的AB测试黄金标准实验,这需要时间,并且在某些情况下也不可行且昂贵。 

我们需要超越倾向建模来思考。监督式流失预测很有用,但并非每次都很有用,因为它缺乏在假设场景中推荐下一个最佳操作。定位个性化客户的问题,他们可以积极(有说服力)地响应您的营销报价,而不会在丢失的案例上浪费金钱,因为采取下一个最佳行动/干预并改变未来的结果,例如最大化保留率是因果推理中的提升建模。 

在理解消费者世界中的某些反事实问题时,例如如果我提高或降低零售价格,人们的行为将如何变化(价格对行为模式的影响),如果我向客户展示广告,他们是否会购买产品(广告对购买的影响),其中包括通过因果建模的数据 驱动 决策。 

通常,预测或预测问题着眼于下个月有多少人会订阅,而因果问题是如果某些政策发生变化(即,如果我们运行活动,有多少人订阅)会发生什么。 

因果分析更进一步;它旨在推断数据生成过程的各个方面。借助这些方面,人们不仅可以推断出静态条件下事件发生的可能性,还可以推断出变化条件下事件的动力学。这种能力包括预测行动的效果(例如,治疗或政策决定),确定报告事件的原因,以及评估责任和归因(e,事件 X 对于事件 Y 的发生是否必要(或充分)。

当我们使用监督式 ML 的虚假相关模式预测模型时,我们隐含地假设事情会像过去一样继续下去。但与此同时,由于我们正在根据预测结果做出的决定或采取的行动,我们正在以一种经常打破这些模式的方式积极改变环境。 

从预测到决策

对于决策,我们需要找到既导致结果的特征,又估计如果特征发生变化,结果将如何变化。许多数据科学问题都是因果问题,估计反事实在决策场景中很常见。 

A / B实验:如果我更改网站上按钮的颜色,它会导致更高的参与度吗?

政策决定:如果我们采用这种治疗/政策,它将如何导致结果的变化?它会带来更健康的患者/更多的收入等吗?

政策评估:我们过去所做的改变,或者知道我现在所知道的,以及结果改变的方式,我的政策是帮助还是伤害了我试图改变的东西? 

信用归因:人们购买是因为广告曝光吗?他们无论如何都会买吗? 

什么是因果关系和因果关系?

如果一个行动或治疗(T)导致结果(Y),当且仅当该行动(T)导致结果(Y)的变化,保持其他一切不变。因果关系意味着通过改变一个因素,我可以使另一个因素发生变化。(Cook & Campbell 1979: 36, 強調原文)。

示例:如果阿司匹林缓解了我的头痛,当且仅当阿司匹林导致头痛改变。 

如果营销导致销售额增加,当且仅当该活动导致销售额发生变化时,保持其他一切不变。 

因果效应是 Y 因 T 的单位变化而变化的大小,而不是相反:  

因果效应 = E [Y | do(T=1)] – E [Y | do (T = 0)] (Judea Pearl’s Do-Calculus) 

因果推理需要领域知识、假设和专业知识。 Microsoft ALICE 研究团队 开发了 DoWhy 和 EconML 开源库,让我们的生活更轻松。任何因果分析的第一步都是提出一个明确的问题:  

  • 我对什么治疗/行动感兴趣? 
  • 我想考虑什么结果? 
  • 哪些混杂因素可能与我的结果和治疗相关? 

因果分析管道:基于深度学习的端到端因果推理(DECI)(微软专利)。

因果发现 – 因果识别 – 因果估计 – 因果验证

Casual Analysis Pipeline(来源:微软) 

负责任的 AI 仪表板(Azure 机器学习工作室):因果分析 

此功能基于从模型注册表解释拟合模型,并且可以探索如果对相同变量有因果理解,可能出现的情况。我们可以查看不同特征的因果效应,并将其与异质效应进行比较,我们可以查看不同的队列以及哪些特征或政策最适合它们。 

  • DECI:为端到端因果推理提供了一个框架,也可以单独用于发现或估计。
  • EconML:提供多种因果关系估计方法。
  • DoWhy:提供多种识别和验证方法。
  • ShowWhy:在用户友好的GUI中提供无代码端到端因果分析,用于因果决策。 

总结

现代机器学习和 深度学习 算法可以在解释黑盒算法的数据中找到复杂的模式;他们的解释可能意味着机器学习算法从世界上学到了什么。 

当我们将这些学到的机器学习算法应用于社会制定贷款批准和健康保险政策等政策决策时,它可能对世界的了解并不一定能很好地代表世界上正在发生的事情。 

然而,数据驱动的预测模型是透明的,但不是真正可解释的。可解释性需要一个因果模型(由表二谬误证明)。因果模型可靠地表示世界上的某些过程。可解释/可解释 的人工智能 应该能够推理,在没有偏见的情况下做出有效的决策。 

Comments are closed.