在所有行业的数字世界中，欺诈检测变得越来越具有挑战性。使用 Apache Kafka 进行实时数据处理成为在欺诈发生之前持续关联和防止欺诈的事实标准。本文探讨了PayPal、Capital One、ING Bank、Grab和Kakao Games等公司利用Kafka Streams、KSQL和Apache Flink等流处理技术的欺诈预防案例研究。
欺诈检测和对实时数据的需求
欺诈检测和预防是对公司欺诈活动（如欺诈、贪污和因员工行为造成的资产损失）的充分响应。
反欺诈管理系统 （AFMS） 包括欺诈审计、预防和检测任务。较大的公司将其用作公司范围的系统，以防止、检测和充分响应欺诈活动。这些不同的元素是相互关联的或独立存在的。如果体系结构在规划期间考虑相互依赖关系，则集成解决方案通常更有效。
在几乎所有用例中，实时数据都能击败业务领域和行业的慢速数据。但是，没有比欺诈预防和欺诈检测更好的例子了。在数小时甚至几分钟后检测数据仓库或数据湖中的欺诈行为是没有帮助的，因为资金已经丢失。这种“太晚的架构”会增加风险、收入损失和糟糕的客户体验。
毫不奇怪，大多数现代支付平台和反欺诈管理系统都通过流分析技术为这些事务和分析工作负载实施实时功能。由Apache Kafka提供支持的Kappa架构成为取代Lambda架构的事实标准。
付款中的流处理示例
流处理是在数据处于动态（和相关）时实施欺诈检测和预防的基础，而不仅仅是存储静态数据以供分析（为时已晚）。
无论您选择哪种现代流处理技术（例如，Kafka Streams，KSQL，Apache Flink），它都可以对不同的数据集进行连续的实时处理和关联。通常，实时和历史数据的结合有助于找到正确的见解和相关性，以高概率检测欺诈行为。
让我们看几个无状态和有状态流处理的示例，以便与 Kafka 原生工具 Kafka Streams 和 ksqlDB 进行实时数据关联。类似地，Apache Flink 或其他流处理引擎可以与 Kafka 数据流结合使用。它总是有利有弊。虽然 Flink 可能更适合某些项目，但它是你需要与 Kafka 结合的另一个引擎和基础设施。
确保您了解端到端 SLA 和有关延迟、恰好一次语义、潜在数据丢失等的要求。然后使用正确的工具组合来完成工作png“ data-new=”false“ data-size=”248044“ data-sizeformatted=”248.0 kB“ data-src=”https://dz2cdn1.dzone.com/storage/temp/16668168-1674734657460.png“ 数据类型=”temp“ data-url=”https://dz2cdn1.dzone.com/storage/temp/16668168-1674734657460.png“ height=”578“ src=”http://www.cheeli.com.cn/wp-content/uploads/2023/01/16668168-1674734657460.png“ width=”1024“/>
使用 Kafka 和 KSQL 进行有状态异常检测
使用 SQL 代码编写的 ksqlDB 应用程序会持续分析每个客户 ID 过去一小时的事务，以识别恶意行为：
Kafka 和机器学习与 TensorFlow 用于欺诈检测的实时评分
KSQL UDF（用户定义函数）嵌入了使用 TensorFlow 训练的分析模型，用于实时预防欺诈：
跨行业的案例研究
有几个使用 Kafka 进行欺诈检测的案例研究。它通常与流处理技术相结合，如Kafka Streams，KSQL和Apache Flink。以下是跨行业的一些实际部署，包括金融服务、游戏和移动服务：
- PayPal： 使用 Kafka 处理数十亿条消息以进行欺诈检测。
- Capital One： 将事件视为运行其整个业务（由Confluent提供支持），其中流处理通过防止个人身份信息（PII）违规进行飞行交易，平均每年防止每位客户150美元的欺诈。
- ING Bank： 多年前开始使用 Kafka、Flink 和嵌入式分析模型实现实时欺诈检测
让我们更详细地探讨后一个案例研究。
深入了解欺诈预防
在移动游戏中使用 Kafka 和 KSQL
Kakao Games 是一家总部位于韩国的全球视频游戏发行商，专门从事 PC、移动和 VR 平台的各种类型的游戏。该公司在德克萨斯州奥斯汀举行的 Current 2022 — 下一代卡夫卡峰会上进行了展示。
以下是他们使用 Kafka 和 KSQL 进行欺诈检测的引人注目的用例和架构的详细摘要。
用例：实时检测游戏玩家的恶意行为
当您了解公司的历史时，挑战就显而易见了：Kakao Games有许多通过第三方游戏工作室购买的外包游戏。每个游戏都有其独特的日志及其标准结构和消息格式。需要大规模的可靠实时数据集成，作为欺诈检测等分析业务流程的基础。
目标是实时分析游戏日志和遥测数据。此功能对于预防和修正来自用户的威胁或可疑操作至关重要。
架构：用于防止欺诈的变更数据捕获和流分析
融合驱动的事件流平台支持游戏日志标准化。ksqlDB 分析传入的遥测数据，以进行游戏内滥用和异常检测。
实现：使用 KSQL 进行数据流的 SQL 配方
Kakao Games通过KSQL检测异常并防止300+模式欺诈。用例包括奖金滥用、多账户使用、账户接管、拒付欺诈和会员欺诈。
下面是一些使用 KSQL 使用 SQL 代码编写的代码示例：
结果：降低风险并改善客户体验
Kakao Games可以大规模进行实时数据跟踪和分析。业务优势包括更快的上市时间、增加的活跃用户以及更好的游戏体验带来的更多收入。
结论
使用 Kafka 将数据摄取到数据仓库或数据湖中只是良好企业架构的一部分。Apache Spark、Databricks、Snowflake 或 Google BigQuery 等工具可以在历史数据中查找见解。但是，只有在数据移动时采取行动，才能实现实时欺诈预防。否则，在您检测到欺诈之前就已经发生了欺诈。
流处理为实时欺诈预防提供了可扩展且可靠的基础架构。选择正确的技术至关重要。但是，所有主要的框架，如Kafka Streams，KSQL或Apache Flink，都非常好。因此，PayPal，Capital One，ING Bank，Grab和Kakao Games的案例研究看起来不同。尽管如此，它们仍然具有相同的基础，由事实上的标准Apache Kafka提供支持的数据流，以降低风险，增加收入并改善客户体验。
如果您想了解有关使用 Kafka 生态系统进行流分析的更多信息，请查看 Apache Kafka 如何帮助网络安全创建态势感知和威胁情报，以及如何从加密和 NFT 领域的 Apache Kafka 的具体欺诈检测示例中学习。
您如何利用数据流进行欺诈预防和检测？您的架构是什么样的？你们结合了哪些技术？让我们 在LinkedIn上联系 并讨论它！
