微软开源社区ONNX Runtime发布了支持龙架构的版本1.17.0

3月12日消息,微软开源社区ONNX Runtime发布了支持龙架构的版本1.17.0,用户可直接在龙芯平台上使用该版本完成AI推理类应用的开发和部署。ONNX Runtime是近年来兴起的AI推理框架软件,被广泛应用作为基础AI推理引擎。该框架支持多种格式的模型输入,包括PyTorch、Tensorflow、TFLite等,并可在CPU、GPU、IoT、NPU、FPGA等多种算力后端上运行。

onnx_runtime.webp

在ONNX Runtime社区1.17.0版本的研制过程中,龙芯中科技术团队与社区密切合作,向ONNX Runtime社区代码仓库提交了7697行代码,对核心算子如矩阵乘法、卷积、转置等进行了深度向量优化。经过社区的支持和质量保证流程,龙架构优化代码已通过检视、测试验证,从1.17.0版本起正式实现了对龙架构的原生支持。

此举标志着龙架构软件生态得到进一步完善,为AI应用在龙芯平台上的发展提供了更强大的支持。 ONNX Runtime源码下载地址:https://github.com/microsoft/onnxruntime