你还记得电影《ExMachina》吗？电影中最吸引人的部分是当AI机器人Ava变得自知之明和欺骗性，而不是创作者想象的那样。除了电影，我们当然不能评论我们什么时候会亲眼目睹这一点，但我们正在见证一个黄金时代的展开：人工智能（人工智能）时代。这一切都要归功于ML （机器学习）.
您可能还喜欢：使用 AWS 的工具、提示和技巧
诸如“AI是否会接管人类？”这样的辩论为这个黄金时代奠定了简洁的基础。微软、谷歌、Facebook等科技行业的巨头已经开始推出支持AI的产品，如果不加忽略，这些产品将给桌面带来更多价值。
计算能力是 ML 的关键
ML 供电的产品通常依赖于可支配的计算能力。这成为 ML 和 AI 域中的拇指规则，即切削刃计算资源的可用性越高，就越容易处理 ML 和 AI 项目。ML 从业者必须等待数小时、有时数天甚至数月才能训练其 ML 模型;而这种时间的变化是由于计算能力，起着至关重要的作用。
有一点是清楚的，ML 和 AI 等高级自学技术的未来取决于专门开发专用和专用硬件芯片。能够支持此类模型所需的计算能力的芯片。值得注意的是，Nvidia和英特尔正在制造AI支持产品的芯片，科技巨头是他们的荣耀客户。
2018年11月，亚马逊宣布生产名为INFERENTIA或亚马逊Inferentia的机器学习芯片。
是什么让亚马逊Inferentia芯片如此重要？
ML工程师，AI科学家，和云福音传道者，每个人都在问一大堆关于亚马逊Inferentia的问题
通常，任何机器学习项目都涉及两个阶段，即培训和推理。
培训阶段
顾名思义，培训涉及向机器提供所需数据的不同过程。机器经过培训，可以学习一组给定数据中的模式。这是一个一次性的过程，专注于使机器更智能，因为它学习基于数学函数的复杂算法。培训阶段与课堂场景类似 ——教授向学生教授特定主题。教授是这个阶段的关键。
推理阶段
在学习了所有复杂的算法后，机器已经为推理阶段做好了准备。ML 有多先进，只能通过”训练”系统在推理阶段如何响应来定义。与培训阶段不同，它不是一次性的过程;它不是一次性的。事实上，可能有数百万人同时使用这些经过培训的模型。我们将为您提供另一个类似的场景，即推理阶段就像学生在现实世界中使用所学知识。学生是这个阶段的关键。
亚马逊一直专注于整个产品的所有权，即使这意味着从零开始构建。长期以来，亚马逊网络服务 （AWS） 一直在使用 Nvidia 和英特尔制造的芯片。在Re：Invent2019期间，AWS宣布了一款专用于推理阶段的新芯片——亚马逊Inferentia。
深入亚马逊因费伦蒂娅
在过去十年末，对深度学习加速的巨大需求，在广泛的应用中也是如此。动态定价、图像搜索应用、个性化搜索建议、自动客户支持等应用程序都在使用 ML 概念。
更何况，在未来几年中，大量应用将不可避免地增加。ML 面临的挑战是，它复杂、昂贵且缺乏针对执行 ML 算法而优化的基础结构。
除此之外，亚马逊还密切关注其主要竞争对手。谷歌于2016年宣布推出首款定制机器学习芯片——张力处理单元（TPA）因此，对于亚马逊来说，这是一个显而易见的选择，因为亚马逊拥有公司可用的资源和技术。
认识亚马逊因费伦蒂娅的创造者
亚马逊于2015年收购了以色列初创企业安纳普尔纳（ Annapurna）。亚马逊和安纳普尔纳实验室的工程师制造了Arm Graviton处理器和亚马逊Inferentia芯片。
https://perspectives.mvdirona.com/
技术规格
亚马逊Inferentia芯片由4个神经元核心组成。每个神经元核心实现”高性能收缩阵列母体乘数引擎”。（互连硬件的花哨词，以更少的响应时间执行特定操作）。
根据技术定义，”在并行计算机体系结构中，收缩阵列是一个由紧密耦合的数据处理单元 （DDP） 组成的均匀网络，称为单元或节点。每个节点或 DPU 独立计算部分结果，作为从上游邻居接收的数据的函数，将结果存储在自身内部并将其传递到下游。
AWS Inferentia 的优势
高性能
每个具有 4 个神经元核心的芯片可以执行高达 128 个 TOPS（每秒数万亿次的操作）。它支持 BF16、INT8 和 FP16 数据类型。有趣的是，AWS Inferentia 可以采用 32 位定型模型，并使用 BFloat16 以 16 位模型的速度运行它。
实时输出的低延迟
在 Inferentia 提供较低延迟的 2019 年发明期间，您一定听说过这一点。是怎么做的？
随着ML变得越来越复杂，模型会不断增大，在内存中传输模型成为最关键的任务，而这应该是改进模型算法。这带来了高延迟并放大了计算问题。亚马逊 Inferentia 芯片具有更大程度地解决延迟问题的能力。
芯片是互连的，有两个目的。首先，可以使用 100% 的缓存内存存储将模型分区到多个内核上 ， 从而全速通过内核管道传输数据，防止外部内存访问导致的延迟。
支持所有框架
ML 从业者使用各种框架。AWS 使 ML 爱好者能够轻松地在几乎所有可用的框架上运行 AWS Inferentia。要运行 Inferentia，需要将模型编译为硬件优化的表示形式
使对 ML 所需的硬件访问民主化
运行 ML 模型数小时、数周，有时长达数月是一件昂贵的事。使用 ML 处理和构建应用程序的组织可能无法承担拥有、操作和维护具有较高计算能力的硬件的所有费用。
因此，AWS 尚未发布有关 Inferentia 的任何定价，但 Amazon EC2 Inf1 实例（一个 inferentia 芯片供电实例）除外。但是，客户在降低推理阶段成本方面的挑战肯定为亚马逊Inferentia铺平了道路。
AWS 机器学习中的下一步是什么？
AWS 对增强 ML 的服务和产品进行了十多次公告。我们不能忽视亚马逊 SageMaker的公告，这是 AWS 送给宣扬 ML 的组织和个人的礼物。
AWS 期待将 Inferentia 芯片添加到其他实例（如 EC2）。这将为 AWS 的计算产品组合增加更多深度。亚马逊强大的战略，添加定制最好的行业芯片可以蓬勃发展的指数速度，只有当，他们可以提供硬件服务在闪电般的速度。