GGUF模型挑选
- 4GB显存：Phi-3-mini、Qwen2.5-3B
- 8GB显存：Mistral-7B、Llama-3.1-8B
- 16GB显存：Qwen2.5-14B、Mixtral-8x7B
- 32GB+：Llama-3.1-70B、Qwen2.5-72B
本地API配置
- 启动本地HTTP服务（默认端口1234）
- 局域网其他设备可调用
- 兼容OpenAI API格式
RAG结合实现离线问答
- 本地知识库存储
- 完全离线不泄露数据
- 适合敏感场景（公司内部文档）
隐私保护优势
断网环境下绝对隐私，无数据上传风险，适合政府、金融等行业。