Airbnb(一个连接旅行者和当地业主的在线市场)使用 Web 浏览器中的机器学习来防止用户在添加个人资料图片时提供个人或敏感信息。
有些用户无意中使用驾照或护照图片提供敏感和个人信息。为了避免这种情况,Airbnb在客户端嵌入了机器学习模型,当用户意外上传包含敏感或个人信息的图片时,该模型会发出以下警报。
机器学习模型的实现现在无处不在。它已到达浏览器,这只是 Web 浏览器中机器学习的一个用例。
在过去几年中,浏览器和 Web 应用程序不断发展。如今,大多数浏览器都配备了 WebGL 来呈现 2D 和 3D 图形,无需插件或附加组件,Web 应用程序也具备提供类似移动应用体验的功能。
随着浏览器和 Web 应用程序中的这些进步,我们可以预见到浏览器和 Web 应用程序在未来将具有多大的功能。
浏览器中机器学习的需求是什么?
在深入探讨之前,让我们了解机器学习的两个阶段 – 训练和推理。
培训 –将训练数据馈送到机器学习模型的过程,从中学习进行预测。训练数据将具有相应的预期输出以及输入。
推理 –利用预先训练的机器学习模型对测试数据进行预测的过程,该测试数据也称为未看到的数据,没有相应的预期输出。
机器学习模型通常使用编程语言(如 Python、R、Java、C++等)进行开发,这些语言在服务器端的浏览器外部执行必要的计算。
如果将机器学习计算推送到客户端执行,则这些模型会消耗过多的带宽、内存和 CPU 来运行。但最近机器学习的进步与诸如 MobileNet 和框架(如 TensorflowJS 和 ONNX)一样。JS 使模型缩小到 10 MB 左右的可能性,并提供以下好处:
隐私:数字世界越来越注重数据,对消费者数据保存的法规也越来越严格。因此,在具有模型在本地运行且无需将数据发送到服务器进行推理的浏览器中进行机器学习是有影响力的。
性能:大多数客户端机器学习库都基于 JavaScript。JavaScript 是单线程的,仅通过 CPU 执行,专为高延迟作业而设计,而不是针对 GPU 设计的高吞吐量作业。
Tensorflow.JS等库支持浏览器中的 WebGL,只要可用,就可以在 GPU 上执行 JavaScript 代码。因此,基于 JavaScript 的机器学习库通过使 CPU 按顺序处理复杂计算和 GPU 并行处理更简单的计算,执行计算的速度提高了许多倍。
像”苹果”和”Snapdragon”这样的公司可能已经预料到机器学习模型推断将在本地、设备上发生qualcomm.com/products/snapdragon-855-mobile-platform”rel=”nofollow”目标\”\blank”\Snapdragon 855芯片组,苹果A12仿生iPhone XS,和iPhone XR提供了证据来支持这种说法。因此,消费者将可以访问具有强大硬件的设备,这些设备支持在本地运行的强大模型。
分销:与用于运行机器学习模型的传统环境设置不同,基于浏览器的 AI 支持 Web 部署在成本、易用性和缺乏问题方面具有优势。我将在另一篇文章中讨论这个问题。
结论
机器学习、现代 Web 浏览器和应用程序功能的融合创造了独特的机会,例如:
- 使用桌面的网络摄像头和移动设备的摄像头开发具有人脸检测功能的 Web 应用程序
- 准备操作项,了解客户在基于浏览器的应用程序中的行为
- 实时为您的目标客户投放广告活动。
- 渐进式 Web 应用的脱机功能可解锁交互式 ML 或离线 AI 计划
最后,浏览器中的机器学习为尝试进入机器学习的 Web 开发人员敞开了大门。