跳转至

LLM 提供商

Koog 与各大 LLM 提供商兼容,同时支持通过 Ollama 使用本地模型。 目前支持的提供商如下:

LLM 提供商
适用场景
OpenAI(包含 Azure OpenAI Service 功能全面的先进模型。
Anthropic 长上下文与提示词缓存。
Google 多模态处理(音频、视频)、大上下文。
DeepSeek 高性价比的推理与编码。
OpenRouter 单一集成即可访问多家提供商的多种模型,实现灵活性、提供商比较和统一的 API
Amazon Bedrock AWS 原生环境、企业级安全与合规、多提供商访问。
Mistral 欧洲数据托管、符合 GDPR 规范。
阿里巴巴DashScope OpenAI 兼容客户端) 大上下文与高性价比的 Qwen 模型。
Ollama 隐私保护、本地开发、离线运行且无 API 成本。
----------------------------------------------- ------------------------------
支持的输入类型 文本、图像、音频、文档
响应流式输出
工具调用
工具选择
结构化输出 (JSON 模式)
多选输出
温度参数
推测解码 1
内容审核
嵌入向量
提示词缓存 1
补全功能
本地执行
Koog 支持创建 AI 代理最常用的能力。
各提供商的 LLM 可能具备 Koog 目前尚未支持的额外功能。
了解更多信息,请参阅 模型能力

使用提供商

Koog 允许您在两个层面上使用 LLM 提供商:

  • 使用 LLM 客户端 直接与特定提供商交互。 每个客户端都实现了 LLMClient 接口,负责处理该提供商的认证、 请求格式化和响应解析。 详情请参阅 LLM 客户端

  • 使用 提示执行器 作为更高级别的抽象,它包装一个或多个 LLM 客户端, 管理其生命周期,并在不同提供商之间提供统一的接口。 它可以在提供商之间切换, 并可选择性地回退到配置的提供商和 LLM(使用相应的客户端)。 您可以创建自己的执行器,或使用针对特定提供商的预定义提示执行器。 详情请参阅 提示执行器

使用提示执行器提供了一个位于一个或多个 LLMClient 之上的更高级别层。 它管理客户端的生命周期,并暴露跨提供商的统一接口。 在多提供商设置中,它可以在提供商之间路由请求,并可根据需要为核心请求回退到指定的客户端。 您可以创建自己的执行器,或使用预定义的执行器——单提供商和多提供商选项均可用。

后续步骤


  1. 该能力仅由该提供商的部分模型支持。