一位律师在Reddit分享其自建12块V100（32GB）加4块RTX 3090的本地AI集群，用于法律文书起草。他放弃vLLM转向llama.cpp，发现MoE模型（如122B参数模型）在V100上速度远超稠密模型，并构建了包含验证器、对抗审查者的多模型流水线。网友称赞其技术勇气，但也指出幻觉、自污染bug等挑战，并推荐了1Cat-vLLM等优化方案。