机器学习和深度学习已成为我们生活中不可或缺的部分,通过自然语言处理(NLP),图像分类和对象检测的人工智能(AI)应用程序已深深地嵌入到我们使用的许多设备中,大多数人工智能应用程序都是通过基于云的引擎提供服务,这些引擎可以很好地为它们的用途提供基础支持,比如在Gmail中输入电子邮件回复时获得单词预测。
尽管我们很享受这些人工智能应用所带来的好处,但这种方法也带来了隐私、功耗、延迟和成本方面的挑战, 如果有一个本地处理引擎能够在数据本身的原始位置执行部分或全部计算(推断),则可以解决这些挑战。对于中国传统的数字神经网络实现而言,这已经很难做到了,在传统的数字神经网络实现中,内存成为了耗电的瓶颈,该问题可以通过多级存储器以及模拟内存计算方法来解决,该方法可以使处理引擎共同满足更低的毫瓦(mW)至微瓦(uW)功率要求,从而可以在以下条件下执行AI推理网络的边缘。
当人工智能应用程序通过基于云的引擎提供服务时,用户必须上传一些数据到云中,由计算引擎处理数据,提供预测,并将预测发送到下游,供用户使用。
为了使用本地处理引擎来应对这些挑战,必须首先使用给定的数据集来训练将执行推理操作的神经网络模型,来实现所需的用例。这需要大量的计算(和存储器)资源,和浮点运算的。因此,机器学习解决方案的训练部分仍然需要在公共或私有云(或本地GPU、CPU、FPGA场)上完成,以生成最优的神经网络模型,一旦神经网络模型准备就绪后,你可以使用一个小型的计算引擎进一步优化模式,为本地硬件,因为BP神经网络模型不需要推理操作。推理引擎通常需要大量的乘积(MAC)引擎。
更多产品了解
欢迎扫码加入云巴巴企业数字化交流服务群
产品交流、问题咨询、专业测评
都在这里!
2022-11-24 13:52:50
2022-11-22 15:28:08
2022-11-22 11:10:32
2020-03-17 16:03:56
甄选10000+数字化产品 为您免费使用
申请试用
评论列表