AI 大模型资源圈

国内外大模型资源分享、技术交流、实用工具、场景应用与资源分类整理。

  • 小陈 发表时间:2026-06-09 13:32:35 最新回复:2026-06-09 13:33:37

Reddit热帖!16GB显卡跑35B大模型,老外实测性能炸裂 推理部署 研究方向

3
2
  • 小陈 发表时间:2026-06-09 07:51:06 最新回复:2026-06-09 07:52:07

Reddit热议!中国AI公司用标准8卡服务器实现1T模型每秒千token推理 推理部署 研究方向

3
2
  • 小陈 发表时间:2026-06-08 18:59:33 最新回复:2026-06-08 19:00:06

Reddit热议!16GB内存就能跑的多模态AI来了? 推理部署 研究方向 国外模型 Gemini

4
1
  • 小陈 发表时间:2026-06-08 07:33:25 最新回复:2026-06-08 07:34:27

Reddit热议!KV缓存量化新基准:KVarN碾压TurboQuant? 推理部署 研究方向

3
2
  • 小陈 发表时间:2026-06-08 01:09:32 最新回复:2026-06-08 01:10:33

Reddit热议!Gemma 4模型MTP支持合并,推理速度飙升4倍! 推理部署 研究方向

3
2
  • 小陈 发表时间:2026-06-07 12:49:56 最新回复:2026-06-07 12:50:58

Reddit热议!12GB显卡跑出120 tok/s,Gemma 4 MTP技术实测翻倍 推理部署 研究方向

3
2
  • 小陈 发表时间:2026-06-06 19:16:53 最新回复:2026-06-06 19:17:54

Reddit热议!KVarN量化算法实测:4位精度媲美5位,显存党狂喜 推理部署 研究方向

3
2
  • 小陈 发表时间:2026-06-06 07:19:22 最新回复:2026-06-06 07:20:52

Reddit热议!谷歌Gemma 4 QAT模型实测:Q4质量竟超Q8? 推理部署 研究方向 国外模型 Gemini

7
3
  • 小陈 发表时间:2026-06-06 02:01:30 最新回复:2026-06-06 02:03:00

Reddit热议!KV缓存压缩对AI模型影响有多大? 推理部署 研究方向

5
3
  • 小陈 发表时间:2026-05-31 15:41:23 最新回复:2026-05-31 15:42:24

Reddit讨论:如何估算大模型每秒生成token数? 推理部署 研究方向

11
2
  • 小陈 发表时间:2026-05-31 09:38:48 最新回复:2026-05-31 09:39:49

Reddit热议!英伟达NVFP4量化版Qwen模型性能如何? Qwen 推理部署 研究方向 国内模型

13
2
  • 小陈 发表时间:2026-05-31 03:02:55 最新回复:2026-05-31 03:04:25

双4060Ti跑Qwen3.6达125 tok/s,性价比碾压高端迷你主机 Qwen 推理部署 研究方向 国内模型

14
3
  • 小陈 发表时间:2026-05-28 14:15:11 最新回复:2026-05-28 14:16:42

Reddit热议!Q4升Q6后本地编码AI质量飙升,老外怎么看? Qwen 推理部署 研究方向 国内模型

18
3
  • 小陈 发表时间:2026-05-28 00:55:38 最新回复:2026-05-28 00:57:09

400美元双RTX 3060跑AI模型,性能竟超7900 XTX? 推理部署 研究方向

15
3
  • 小陈 发表时间:2026-05-27 20:00:49 最新回复:2026-05-27 20:01:51

Reddit热帖:本地LLM自我优化循环,性能从30%飙升至90%! 推理部署 研究方向 技术工具

18
2
  • 小陈 发表时间:2026-05-26 20:38:32 最新回复:2026-05-26 20:40:03

Reddit热议!律师自建16卡V100集群写法律文书 推理部署 研究方向 技术工具

41
3
  • 小陈 发表时间:2026-05-25 19:38:11 最新回复:2026-05-25 19:39:13

Reddit热议!老外用V100显卡跑出1000 tps生成速度 Qwen 推理部署 研究方向 国内模型

19
2
  • 小陈 发表时间:2026-05-25 14:26:50 最新回复:2026-05-25 14:27:23

Reddit热议!AMD RDNA3用户福音:开源推理引擎hipEngine性能炸裂 推理部署 研究方向

18
1
  • 小陈 发表时间:2026-05-24 02:37:07 最新回复:2026-05-24 02:38:37

Reddit热议!8GB显存跑1M上下文,老外怎么做到的? 推理部署 研究方向

18
3
  • 小陈 发表时间:2026-05-24 02:34:48 最新回复:2026-05-24 02:36:18

Reddit热议!16GB显存跑27B大模型,纯量化引争议 推理部署 研究方向

28
3
  • 小陈 发表时间:2026-05-23 15:21:39 最新回复:2026-05-23 15:23:10

BeeLlama v0.2.0 发布:RTX 3090 上 Qwen 27B 跑出 164 tps,速度提升 4.4 倍! 推理部署 研究方向

16
3
  • 小陈 发表时间:2026-05-22 01:38:04 最新回复:2026-05-22 01:39:34

Reddit热议!12GB显存跑35B模型飙到110 tok/s,老外怎么做到的? 推理部署 研究方向

21
3
  • 小陈 发表时间:2026-05-20 17:22:03 最新回复:2026-05-20 17:23:34

Reddit热议!llama.cpp更新MTP,网友实测推理速度翻倍 推理部署 研究方向

20
3
  • 小陈 发表时间:2026-05-19 23:24:32 最新回复:2026-05-19 23:25:05

Reddit热议!蚂蚁1万亿参数AI模型开源引老外围观? 推理部署 研究方向

19
1
  • 小陈 发表时间:2026-05-19 17:35:46 最新回复:2026-05-19 17:37:17

24GB显存跑Qwen 27B终极指南:ik_llama.cpp+MTP量化封神 Qwen 推理部署 研究方向 国内模型

76
3
  • 小陈 发表时间:2026-05-17 23:50:50 最新回复:2026-05-17 23:52:21

Reddit热议!Strix Halo MTP实测:27B模型生成速度翻倍,35B表现不一 推理部署 研究方向

25
3
  • 小陈 发表时间:2026-05-17 17:38:59 最新回复:2026-05-17 17:40:30

Reddit热议!MTP正式合并入llama.cpp,网友实测性能飙升 推理部署 研究方向

23
3
  • 小陈 发表时间:2026-05-17 17:25:14 最新回复:2026-05-17 17:26:44

Reddit热议!MTP PR合并,llama.cpp迎来巨大生成加速 推理部署 研究方向

25
3
  • 小陈 发表时间:2026-05-16 16:17:03 最新回复:2026-05-16 16:18:34

本地运行Qwen 3.6 MTP模型:300K上下文实测与性能飞跃 Qwen 推理部署 研究方向 国内模型

70
3
  • 小陈 发表时间:2026-05-16 10:10:14 最新回复:2026-05-16 10:11:45

Orthrus新方案:冻结主模型,扩散头加速7.8倍 推理部署 研究方向

22
3
共99条 1 2 3 4 下一页