技术博客

阿里巴巴集团的大模型预测团队开发了RTP-LLM引擎，这是一款高性能大型语言模型（LLM）推理加速工具。该引擎通过通用的投机采样框架，支持多种技术以减少推理延迟并提升吞吐量，已在淘宝、天猫、高德地图和饿了么等核心业务中广泛应用，显著优化了大模型推理效率。

本文介绍下一代 RTP-LLM 推理引擎的设计，旨在解决现有版本对 NVIDIA GPU 的依赖问题，并支持更广泛的硬件生态系统。初版 RTP-LLM 基于 NVIDIA 的开源库构建，与 CUDA 硬件紧密耦合，限制了对非 NVIDIA GPU 设备的支持。随着业务需求的增长，现有框架的局限性逐渐显现。因此，新版本采用了以硬件接口为中心的设计理念，对模型推理逻辑进行了重构，从而提升兼容性和性能。