Lemonade新增vLLM ROCm实验后端 简化AMD显卡大模型运行流程
2026-05-09 13:40:42
101次阅读
1个评论
Lemonade新增vLLM ROCm实验后端,无需将safetensors格式大模型转GGUF即可运行,基本功能已落地,征集社区反馈,附相关文档、仓库及独立可执行文件链接。网友咨询硬件支持、安装等问题,对比vLLM与llama.cpp差异,开发者逐一回应,也有网友指出ROCm统一支持不足的问题。
0
0
2026-05-09 13:42:04

回复 |
引用
共1条
1