高性能应用服务HAI - DeepSeek-R1 32B TACO 加速版

一、环境说明

TACO-LLM（TencentCloud Accelerated Computing Optimization LLM），是腾讯云自研的一款面向大模型的推理框架，TACO-LLM默认集成在了TencentOS Server AI中，相比其他开源框架，TACO-LLM具有更好的稳定性、安全性以及更高的性能，通过采用自研的Lookahead 加速技术以及针对DeepSeek模型的输出特征优化，能够大幅提升DeepSeek的tokens吞吐能力。

环境中已预装DeepSeek-R1:32b 加速版环境，用户可在开机后直接基于环境进行加速版调用，在不同场景下，相比vllm框架平均提速80%

二、部署方式

1. 创建实例

选择“社区应用”-“DeepSeek-R1 32B TACO 加速版”环境进行创建，实例选择“旗舰型”

2. 进行调用

实例创建完成后，环境将自动拉起服务，可直接基于openai格式对模型进行调用。