LLM 提供商
Koog 与各大 LLM 提供商兼容,同时支持通过 Ollama 使用本地模型。 目前支持的提供商如下:
LLM 提供商 |
适用场景 |
|---|---|
| OpenAI(包含 Azure OpenAI Service) | 功能全面的先进模型。 |
| Anthropic | 长上下文与提示词缓存。 |
| 多模态处理(音频、视频)、大上下文。 | |
| DeepSeek | 高性价比的推理与编码。 |
| OpenRouter | 单一集成即可访问多家提供商的多种模型,实现灵活性、提供商比较和统一的 API。 |
| Amazon Bedrock | AWS 原生环境、企业级安全与合规、多提供商访问。 |
| Mistral | 欧洲数据托管、符合 GDPR 规范。 |
| 阿里巴巴(DashScope OpenAI 兼容客户端) | 大上下文与高性价比的 Qwen 模型。 |
| Ollama | 隐私保护、本地开发、离线运行且无 API 成本。 |
| ----------------------------------------------- | ------------------------------ |
| 支持的输入类型 | 文本、图像、音频、文档 |
| 响应流式输出 | ✓ |
| 工具调用 | ✓ |
| 工具选择 | ✓ |
| 结构化输出 (JSON 模式) | ✓ |
| 多选输出 | ✓ |
| 温度参数 | ✓ |
| 推测解码 | ✓1 |
| 内容审核 | ✓ |
| 嵌入向量 | ✓ |
| 提示词缓存 | ✓1 |
| 补全功能 | ✓ |
| 本地执行 | – |
| Koog 支持创建 AI 代理最常用的能力。 | |
| 各提供商的 LLM 可能具备 Koog 目前尚未支持的额外功能。 | |
| 了解更多信息,请参阅 模型能力。 |
使用提供商
Koog 允许您在两个层面上使用 LLM 提供商:
-
使用 LLM 客户端 直接与特定提供商交互。 每个客户端都实现了
LLMClient接口,负责处理该提供商的认证、 请求格式化和响应解析。 详情请参阅 LLM 客户端。 -
使用 提示执行器 作为更高级别的抽象,它包装一个或多个 LLM 客户端, 管理其生命周期,并在不同提供商之间提供统一的接口。 它可以在提供商之间切换, 并可选择性地回退到配置的提供商和 LLM(使用相应的客户端)。 您可以创建自己的执行器,或使用针对特定提供商的预定义提示执行器。 详情请参阅 提示执行器。
使用提示执行器提供了一个位于一个或多个 LLMClient 之上的更高级别层。 它管理客户端的生命周期,并暴露跨提供商的统一接口。 在多提供商设置中,它可以在提供商之间路由请求,并可根据需要为核心请求回退到指定的客户端。 您可以创建自己的执行器,或使用预定义的执行器——单提供商和多提供商选项均可用。