本站点使用Cookies,继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>

首页 信息速查 产品智能选型 IP知识百科

什么是嵌入式AI?

嵌入式AI,又称为EAI(Embedded Artificial Intelligence,嵌入式人工智能),是一个内置在网络设备中的AI功能通用框架系统,为网络设备上基于AI算法的功能提供公共的模型管理、数据获取和预处理功能,并且支持将推理结果发送给基于AI算法的功能。不仅能够充分利用设备的样本数据和计算能力,而且具有降低数据传送成本、保证数据安全以及保证推理决策的实时性等优点。

为什么需要嵌入式AI?

以人工智能为代表的第四次工业革命已经来临,AI正在以前所未有的速度深刻改变人类社会生活,改变世界。AI技术可以在参数调优、应用识别、安全、故障诊断等多个方面为网络设备创造价值。

AI的三个核心要素是:算法、算力和数据,如果设备上支持的AI功能都单独维护一套算法、算力和数据,基于AI算法的功能要求设备提供海量的样本数据和高性能的计算能力,将严重影响设备的正常运行。

嵌入式AI系统提供了一个完整的AI功能通用框架系统,AI功能可以订阅嵌入式AI系统的服务。订阅后,嵌入式AI系统会基于AI算法对该AI功能相关的实时数据进行推理,AI功能根据推理结果可以指导功能实现。在数据产生的本地进行分析和推理,具有降低数据传送成本、保证数据安全以及保证推理决策的实时性等优点。

嵌入式AI是如何工作的?

嵌入式AI系统主要由三个模块组成:

  • 模型模块:也可称为算法模块,集成了多种AI算法。模型模块管理了多个模型文件,每个文件中会包含一个或多个模型,不同的模型对应不同的AI算法。用户可以通过加载、删除模型文件,来管理嵌入式AI系统使用的AI算法。
  • 数据模块:具有数据获取、数据预处理的能力,管理设备上所有AI功能需要的数据。
  • 算力模块:基于模型模块的算法和数据模块的数据进行推理,推理结果会发送给设备上支持的AI功能,这些功能会对推理结果进行分析并形成具体配置下发到设备上。
嵌入式AI系统工作原理
嵌入式AI系统工作原理

嵌入式AI系统的工作原理如图所示,具体工作流程如下:

  1. 嵌入式AI系统的数据模块采集设备上各AI功能的相关数据,并对数据进行预处理,作为算力模块的输入。
  2. 用户在嵌入式AI系统中加载或删除不同的模型文件。这些模型文件中会包含各个AI功能适用的已经训练好的模型。
  3. 设备上的AI功能订阅嵌入式AI系统的服务。这个过程不需要用户配置,启用AI功能后即可完成订阅。AI功能订阅嵌入式AI服务后,嵌入式AI会对模型文件内该AI功能订阅的模型进行保护,确保最新版本的模型不可被删除,作为算力模块的输入。
  4. 算力模块根据模型模块的算法和数据模块的数据进行推理,并将推理结果发送给已经启用的AI功能。
  5. AI功能对嵌入式AI的推理结果进行分析后下发具体配置。

嵌入式AI的应用

AI ECN(Artificial Intelligence Explicit Congestion Notification)是一种根据现网流量模型智能地调整无损队列的ECN门限的功能,可以保障零丢包下的低时延和高吞吐,让无损业务达到最优性能。

传统的静态ECN功能需要手工配置ECN门限、ECN标记概率等参数,对于需要无丢包传输的无损业务,无法使ECN门限适应队列中不断变化的缓存空间。AI ECN订阅嵌入式AI功能,可以根据现网流量模型进行AI训练,对网络流量变化进行预测,及时推理出最优ECN门限,并且支持根据现网流量变化实时调整ECN门限,进行无损队列缓存的精确管控,保障整网的最优性能。

设备启用AI ECN功能后,会自动订阅嵌入式AI系统的服务。AI ECN组件收到推送的流量状态信息后,根据嵌入式AI系统的推理结果,智能的对当前的流量模型进行判断,如果该流量模型是嵌入式AI系统内已训练的模型,AI ECN组件将根据嵌入式AI系统推理的最优结果,计算出与当前网络状态匹配的ECN门限配置,并将最优ECN门限下发到设备中,调整无损队列的ECN门限。对于新获得的流量状态,将重复上述操作,保障无损队列的低时延和高吞吐,从而让不同流量场景下的无损业务性能都能达到最佳。

词条统计
  • 作者: 冯媛媛
  • 最近更新: 2024-02-26
  • 浏览次数: 21070
  • 平均得分:
分享链接到: