为帮助企业用户降低深度学习部署与应用门槛，构建软硬一体的分布式全栈推理平台，宝德推出了基于 AI 推理服务器 PR2715P2，可支持 Analytics Zoo Cluster Serving 的自动分布式可扩展推理平台。宝德PR2715P2采用了全新设计，融合了第二代英特尔® 至强® 可扩展处理器和英特尔® 深度学习加速（英特尔® DL Boost）技术，在性能与功耗之间实现了有效平衡，为深度学习应用提供了一个 能的基础平台。

挑战：如何加速深度学习部署与优化

随着深度学习算法的不断创新，越来越多的应用需要对深度学习模型进行大规模和实时的分布式推理服务。虽然已经有一些工具可用于模型优化、服务、集群调度、工作流管理等相关任务，但是对于许多深度学习的工程师和科学家而言，开发和部署能够透明地扩展到大型集群的分布式推理工作流仍然是一个严峻的挑战。

为了便于构建和生成面向大数据的深度学习应用程序，英特尔推出了 Analytics Zoo 平台。该平台提供了统一的数据分析+ AI平台，可将TensorFlow、Keras、Pytorch、BigDl Spark、Flink和 Ray 程序无缝集成到一个统一的数据分析流水线中，用于分布式训练或预测，方便用户构建深度学习应用。整个流水线可以透明地扩展到运行在由搭载英特尔® 至强® 处理器的服务器组成的 Hadoop/Spark 集群上，以进行分布式训练或推理。

Analytics Zoo 在较新的版本中还提供了对于 Cluster Serving 的支持，构建了轻量级、分布式、实时的模型服务解决方案。Analytics Zoo Cluster Serving 支持多种深度学习模型，提供了一个简单的发布/订阅 API，可支持用户可轻松地将他们的推理请求发送到输入队列。然后，Cluster Serving 将使用分布式流框架在大型集群中进行实时模型推理和自动扩展规模。