IT之家25 天
摩尔线程开源 vLLM-MUSA，通过 MUSA 软件栈对 CUDA 接口兼容
IT之家11 月 5 日消息，摩尔线程官方今日发文，称已上线了大语言模型高速推理框架开源项目 vLLM 的 MUSA 移植版本，为开发者提供一个基于摩尔线程全功能 GPU 进行开源项目 MUSA 移植的范例。 vLLM 是一个高效且易用的大模型推理和服务框架，已在各种大语言模型中 ...