适合哪些场景
| 场景 | 说明 |
|---|---|
| 内部知识库问答 | SOP、培训资料、制度文件,员工直接提问获得带出处的回答 |
| 客服助手 | 根据酒店/产品资料回复常见咨询,人工审核后发送 |
| 文本生成 | 营销文案、点评回复、报告初稿,统一品牌语气 |
| 数据分析助手 | 用自然语言查询经营报表,生成分析摘要 |
怎么做
- 场景梳理:明确问题、使用人、数据来源、成功标准。
- 选型与估算:选择模型规模与量化方式,估算显存、并发与硬件成本。
- 原型验证:在我们的自有环境中用你的样本资料做效果验证。
- 部署与对接:部署到你的服务器,接入企业微信、内部系统或网页。
- 验收与运维:按事先约定的测试集验收,交付文档,进入维护期。
数据安全
- 模型、知识库、对话日志全部存放在你的服务器上。
- 支持按部门、按角色控制可访问的知识范围。
- 对外提供服务(面向公众)的项目,需要按规定办理相关备案,见《生成式 AI 上线前的合规清单》。
常见问题
一定要买显卡服务器吗?
不一定。我们会先根据场景和并发估算算力需求,小规模场景可用单台带消费级显卡的服务器,规模较大再考虑专业显卡。估算方法见知识库文章《大模型显存与并发怎么估算》。
需要微调吗?
大多数企业问答场景用“检索增强生成(RAG)”就够了:把你的文档作为知识库,模型回答时先检索再作答,更新资料不需要重新训练。只有在需要固定输出风格、专有任务时才建议微调。
部署后谁来维护?
交付时提供运维文档与培训;也可以签订年度维护,负责模型升级、知识库更新与故障处理。