本站点使用Cookies,继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>

首页 信息速查 百科 在线课堂 智能问答

什么是嵌入式AI?

嵌入式AI,又称为EAI(Embedded Artificial Intelligence,嵌入式人工智能),是一个内置在网络设备中的AI功能通用框架系统,为网络设备上基于AI算法的功能提供公共的模型管理、数据获取和预处理功能,并且支持将推理结果发送给基于AI算法的功能。不仅能够充分利用设备的样本数据和计算能力,而且具有降低数据传送成本、保证数据安全以及保证推理决策的实时性等优点。

为什么需要嵌入式AI?

以人工智能为代表的第四次工业革命已经来临,AI正在以前所未有的速度深刻改变人类社会生活,改变世界。AI技术可以在参数调优、应用识别、安全、故障诊断等多个方面为网络设备创造价值。

AI的三个核心要素是:算法、算力和数据,如果设备上支持的AI功能都单独维护一套算法、算力和数据,基于智能算法的功能要求设备提供海量的样本数据和高性能的计算能力,将严重影响设备的正常运行。

嵌入式AI系统提供了一个完整的AI功能通用框架系统,AI功能可以订阅嵌入式AI系统的服务。订阅后,嵌入式AI系统会基于智能算法对该AI功能相关的实时数据进行推理,AI功能根据推理结果可以指导功能实现。在数据产生的本地进行分析和推理,具有降低数据传送成本、保证数据安全以及保证推理决策的实时性等优点。

嵌入式AI是如何工作的?

嵌入式AI系统主要由三个模块组成:

  • 模型模块:也可称为算法模块,集成了多种智能算法。模型模块管理了多个模型文件,每个文件中会包含一个或多个模型,不同的模型对应不同的智能算法。用户可以通过加载、删除模型文件,来管理嵌入式AI系统使用的智能算法。
  • 数据模块:具有数据获取、数据预处理的能力,管理设备上所有AI功能需要的数据。
  • 算力模块:基于模型模块的算法和数据模块的数据进行推理,推理结果会发送给设备上支持的AI功能,这些功能会对推理结果进行分析并形成具体配置下发到设备上。
嵌入式AI系统工作原理
嵌入式AI系统工作原理

嵌入式AI的工作原理如图所示,具体工作流程如下:

  1. 嵌入式AI系统的数据模块采集设备上各AI功能的相关数据,并对数据进行预处理,作为算力模块的输入。
  2. 用户在嵌入式AI系统中加载或删除不同的模型文件。这些模型文件中会包含各个AI功能适用的已经训练好的模型。
  3. 设备上的AI功能订阅嵌入式AI系统的服务。这个过程不需要用户配置,启用AI功能后即可完成订阅。AI功能订阅嵌入式AI服务后,嵌入式AI会对模型文件内该AI功能订阅的模型进行保护,确保最新版本的模型不可被删除,作为算力模块的输入。
  4. 算力模块根据模型模块的算法和数据模块的数据进行推理,并将推理结果发送给已经启用的AI功能。
  5. AI功能对嵌入式AI的推理结果进行分析后下发具体配置。

嵌入式AI的应用

AI ECN(Artificial Intelligence Explicit Congestion Notification)是一种根据现网流量模型智能地调整无损队列的ECN门限的功能,可以保障零丢包下的低时延和高吞吐,让无损业务达到最优性能。

传统的静态ECN功能需要手工配置ECN的高低门限、ECN的标记概率等参数,对于需要无丢包传输的无损业务,无法使ECN门限适应队列中不断变化的缓存空间。AI ECN订阅嵌入式AI功能,可以根据现网流量模型进行AI训练,对网络流量变化进行预测,及时推理出最优ECN门限,并且支持根据现网流量变化实时调整ECN门限,进行无损队列缓存的精确管控,保障整网的最优性能。

设备启用AI ECN功能后,会自动订阅嵌入式AI系统的服务。AI ECN组件收到推送的流量状态信息后,根据嵌入式AI系统的推理结果,智能的对当前的流量模型进行判断,如果该流量模型是嵌入式AI系统内已训练的模型,AI ECN组件将根据嵌入式AI系统推理的最优结果,计算出与当前网络状态匹配的ECN门限配置,并将最优ECN门限下发到设备中,调整无损队列的ECN门限。对于新获得的流量状态,将重复上述操作,保障无损队列的低时延和高吞吐,从而让不同流量场景下的无损业务性能都能达到最佳。

词条统计
  • 作者: 冯媛媛
  • 最近更新: 2021-10-09
  • 浏览次数: 1306
  • 平均得分: