PFlash实现RTX3090 128K预填充超llama.cpp10倍引热议
2026-05-02 05:30:40
108次阅读
3个评论
Luce团队开源C++/CUDA实现的PFlash,结合推测预填充与FlashPrefill,RTX3090上128K预填充较llama.cpp快10倍,保留单针NIAH检索能力。网友质疑其精度损失、复现难度,也期待适配更多硬件、并入llama.cpp。
收藏 0 0
    小陈 manage advert
    2026-05-02 05:31:13
    回复 |  引用
    小陈 manage advert
    2026-05-02 05:31:41
    回复 |  引用
    小陈 manage advert
    2026-05-02 05:32:11
    回复 |  引用
共3条 1

登录 后评论。没有帐号? 注册 一个。

小陈

manage advert
  • 0 回答
  • 0 粉丝
  • 0 关注