青云QingCloud 推出 Inference Engine 推理引擎（详情：http://1t.click/bbbH）。青云QingCloud 推理引擎作为 DeepLearning 深度学习平台的重要组成部分，将通过 AppCenter 交付，一键云端部署，为用户提供一站式的模型部署与推理方案。此外，青云QingCloud 推理引擎还提供了应用全生命周期管理能力，包括创建、扩容、监控、健康监测等，助力开发者快速拥有生产环境 AI 推理引擎。
训练和推理是机器/深度学习的两个重要组成部分。AI 开发者通过各种深度学习框架，如 Tensorflow、PyTorch 等训练好模型后，将模型部署到生产环境，管理模型版本并提供API用于推理。成熟的推理产品除了要支持多种推理框架、多种加速器（CPU/GPU）之外，还需要支持诸如推理 API (HTTP/GPRC) 负载均衡、模型上传、模型存储、模型部署、水平/垂直伸缩、推理引擎日志/推理 API 访问日志查看等诸多功能。
作为成熟的推理产品，青云QingCloud 此次推出的 Inference Engine 推理引擎，除了完全具备上述功能，还具备以下优势：
主流推理框架：集成针对英特尔 CPU 优化的 CPU 版 Tensorflow Serving，未来还将陆续支持 ONNX Runtime / OpenVINO 等主流推理框架，助力用户快速部署机器/深度学习推理环境。
多种加速模式：支持使用 GPU 或仅使用 CPU 进行机器/深度学习推理，同时可根据自身需求选择单节点或分布式部署模式；其中，CPU 版基于第二代英特尔至强可扩展处理器，采用了 Intel DeepLearning Boost VNNI 技术，AI 推理性能与上一代型号 CPU 相⽐提升高达 100% 。
多种存储方式： 支持本地磁盘存储、对象存储以及兼容 S3 协议的 MinIO 私有对象存储等多种存储方式存储模型。集成对象存储命令行工具，通过配置对象存储相关参数，可便捷地从对象存储中获取模型，完成推理。
多种部署方式：支持单模型服务节点+本地模型存储、多模型服务节点+私有对象存储模型库 ( MinIO 对象存储 )、多模型服务节点+公有云对象存储模型库 ( QingStor® 对象存储或其他兼容 S3 协议的公有云对象存储) 等多种部署方式。
青云QingCloud 运营副总裁林源表示，Inference Engine 推理引擎对于图像/语音识别、图像分类和实时翻译领域的突破有着重要的意义，也是青云QingCloud 补齐 AI 服务能力、完善深度学习平台的重要一环。未来，青云QingCloud 将持续推出更多 AI 相关服务，助力 AI 开发者更加便捷地开展工作，推动全面人工智能时代的加速到来。
分享
