下面的帖子来自尤音乐大师他是Domino Data Lab技术联盟的主管。

MathWorks和Domino现在正在扩展他们的合作，以集成NVIDIA的舰队司令部。这种扩展的协作为在边缘设备上获取和操作人工智能模型提供了无缝部署工作流程。在这篇博文中，我们将简要地向您展示如何结合跨技术功能来部署在MATLAB中训练的深度学习模型，以便在gpu驱动的边缘设备上运行。

下周(3月20日至23日)在GTC 2023观看我们的Edge人工智能演示，以及行业专家提供的更多先进技术。演示将在会议中进行S52424:从云到边缘部署深度学习模型．

什么是Edge AI?

数据科学、机器学习和人工智能已经成为科学和工程研究不可或缺的一部分。为了推动创新，公司在数据收集、聚合、转换和工程方面投入了大量资源。随着许多组织的数据量达到临界质量，人们越来越期望展示数据的价值。人工智能已经清楚地展示了它的价值，尤其是在云端或数据中心运行人工智能时。人工智能的下一个非常重要的阶段是“边缘”的模型部署和操作。

Edge与其他类型部署的区别在于执行位置。的核心概念边缘人工智能是将工作负载(即使用AI模型的推理)移动到收集数据或使用模型输出的地方。在边缘人工智能中，运行工作负载的服务器将位于工厂生产线、百货商店地板或风力发电场。许多这样的用例需要毫秒级的回答，而不是秒级。此外，互联网连接可能是有限的，数据量很大，并且数据是机密的。

边缘人工智能的一个巨大优势是，模型推理发生在离数据收集点非常近的物理位置。这减少了处理延迟，因为数据不必通过公共Internet传输。此外，数据隐私性和安全性得到提高，数据传输、计算和存储成本降低。更好的是，许多阻碍Edge愿景的障碍最终可以被克服。

图:将AI模型部署到边缘设备

为什么边缘AI很重要?

让我们假设我们经营着一家拥有数千个资产的大型发电供应商。人工智能技术可以在许多方面提供帮助，从预测性维护到自动化和优化。这些资产涵盖水电、核能、风能和太阳能设施。在每个资产中，都有数千个状态监测传感器。每个位置可能需要几台服务器，配备强大的硬件，如强大的CPU和强大的GPU。

虽然足够的计算能力来支持边缘人工智能现在是现实的，但一些新的障碍出现了:如何有效地管理和监督连接有限的大型服务器群?如何将AI模型更新部署到硬件上，而无需派遣团队亲自维护硬件?如何确保新模型可以在多种硬件和软件配置中运行?如何确保满足所有模型依赖关系?我们将在GTC上向您展示的工作流程将演示我们如何开始解决这些障碍。

什么是NVIDIA舰队指挥部?

为了应对将模型带到边缘的挑战，NVIDIA推出了Fleet Command。英伟达舰队指挥部是一个基于云的工具，用于跨边缘设备管理和部署人工智能应用程序。它简化了模型更新的推出，集中了设备配置管理，并监视各个系统的运行状况。

三年多来，Domino Data Lab和MathWorks已经合作为合作客户提供服务和规模化研发。MATLAB和Simulink可以在Domino的MLOps平台上运行，从而解锁对强大的企业计算和真正庞大的数据宝库的访问。用户可以通过访问企业级NVIDIA gpu和并行计算集群来加速发现。

借助Domino, MATLAB用户可以将其强大的工具用于训练人工智能模型，将AI融入系统设计，以及与其他计算平台和技术。工程师可以通过共享数据、自动批处理作业执行和api与同行协作。

演示:将AI模型部署到边缘

在GTC上，我们将演示从模型创建到边缘部署的完整工作流，并最终在边缘使用模型进行推理。这个工作流是协作的、跨职能的，连接了数据科学家、工程师和IT专业人员的工作。

图:边缘AI工作流程概述，在Domino Data Lab中使用MATLAB进行AI建模，然后使用NVIDIA Fleet Command部署到边缘

以下是工作流程的关键步骤:

1. 工程师们使用MATLAB进行迁移学习。他们在一个预训练深度学习模型并在新数据上重新训练模型，他们可以使用Domino与云存储库的无缝集成来访问这些数据。他们还利用企业级NVIDIA gpu来加速模型再训练。
2. 工程师使用MATLAB Compiler SDK打包深度学习模型，然后使用Domino将模型发布到NVIDIA Fleet command兼容的Kubernetes容器中。
3. IT团队使用Domino API将容器加载到公司的NVIDIA Fleet Command容器注册表中。
4. 配置完成后，Fleet Command将容器部署到基于x86的gpu驱动的工厂车间边缘服务器上。然后，该模型可以在需要的地方使用，并具有近乎瞬时的推断。

观看下面的动画来了解更多关于工作流程的细节。想要了解更多，请加入我们的GTC!

动画图:完成边缘AI工作流，在Domino Data Lab中使用MATLAB进行AI建模，然后使用NVIDIA Fleet Command部署到边缘

结论

此工作流展示了边缘成功的许多关键方面。MathWorks、NVIDIA和Domino合作，帮助科学家和工程师加快发现的步伐，释放数据的力量。该演示还展示了跨学科协作和平台开放的力量。有了Domino和MATLAB，企业可以为合适的专家提供他们喜欢的工具。工程师和数据科学家可以访问和协作任何类型的任何规模的数据，无论它存储在哪里。工作流提供了一个直接的、可重复的过程，以便在需要的边缘将模型投入生产。

我们期待您在GTC的在线会议上加入我们!记住，寻找会话S52424:从云到边缘部署深度学习模型．如果有任何问题，请随时联系我们yuval.zukerman@dominodatalab.com或domino@mathworks.com．