后端:
- server: 实现完整的 HTTP 会话管理(CRUD)+ SSE 事件流推送,
支持双通道架构(POST 发消息 + GET SSE 接收流式响应)
- runtime: ContentBlock 新增 Thinking / RedactedThinking 变体,
支持思考过程和已编辑思考的序列化/反序列化
- api: 注册 GLM 系列模型(glm-4/5 等)到模型注册表,
扩展 XAI/OpenAI 兼容提供商的请求构建逻辑
前端:
- 基于 Ant Design X 构建完整聊天界面:Bubble.List 消息列表、
Sender 输入框、Conversations 会话管理、Think 思考过程折叠、
ThoughtChain 工具调用链展示
- XMarkdown 集成:代码高亮、Mermaid 图表、LaTeX 公式、
自定义脚注、流式渲染(incomplete 占位符)
- SSE Hook 对接服务端事件流,手动管理 AssistantBuffer 累积 delta
- 深色/浅色主题切换,会话侧边栏(新建/切换/删除)
54 lines
2.5 KiB
Markdown
54 lines
2.5 KiB
Markdown
# API 模块 (api)
|
||
|
||
本模块提供了与大型语言模型 (LLM) 服务提供商(主要是 Anthropic 的 Claude 和兼容 OpenAI 的服务)进行交互的高层抽象和客户端。
|
||
|
||
## 概览
|
||
|
||
`api` 模块负责以下职责:
|
||
- 标准化与不同 AI 提供商的通信。
|
||
- 通过服务器发送事件 (SSE) 处理流式响应。
|
||
- 管理身份验证源(API 密钥、OAuth 令牌)。
|
||
- 提供消息、工具和使用情况跟踪的共享数据结构。
|
||
|
||
## 关键特性
|
||
|
||
- **提供商抽象 (Provider Abstraction)**:支持多种 AI 后端,包括:
|
||
- `ClawApiClient`: Claude 模型的主要提供商。
|
||
- `OpenAiCompatClient`: 支持兼容 OpenAI 的 API(如本地模型、专门的提供商)。
|
||
- **流式支持 (Streaming Support)**:健壮的 SSE 解析实现 (`SseParser`),用于处理实时的内容生成。
|
||
- **工具集成 (Tool Integration)**:为 `ToolDefinition`、`ToolChoice` 和 `ToolResultContentBlock` 提供强类型定义,支持智能代理 (Agentic) 工作流。
|
||
- **身份验证管理 (Auth Management)**:用于解析启动身份验证源和管理 OAuth 令牌的实用工具。
|
||
- **模型智能 (Model Intelligence)**:解析模型别名和计算最大标记 (Token) 限制的元数据及辅助函数。
|
||
|
||
## 实现逻辑
|
||
|
||
### 核心模块
|
||
|
||
- **`client.rs`**: 定义了 `ProviderClient` 特性 (Trait) 和基础客户端逻辑。它使用 `reqwest` 处理 HTTP 请求,并管理消息流的生命周期。
|
||
- **`types.rs`**: 包含 API 的核心数据模型,如 `InputMessage`、`OutputContentBlock` 以及 `MessageRequest`/`MessageResponse`。
|
||
- **`sse.rs`**: 实现了一个状态化的 SSE 解析器,能够处理分段的数据块并发出类型化的 `StreamEvent`。
|
||
- **`providers/`**: 包含针对不同 LLM 端点的特定逻辑,将它们的独特格式映射到本模块使用的共享类型。
|
||
|
||
### 数据流
|
||
|
||
1. 构建包含模型详情、消息和工具定义的 `MessageRequest`。
|
||
2. `ApiClient` 将此请求转换为提供商特定的 HTTP 请求。
|
||
3. 如果启用了流式传输,客户端返回一个 `MessageStream`,该流使用 `SseParser` 来产生 `StreamEvent`。
|
||
4. 最终响应包含用于跟踪 Token 消耗的 `Usage` 信息。
|
||
|
||
## 使用示例
|
||
|
||
```rust
|
||
use api::{ApiClient, MessageRequest, InputMessage};
|
||
|
||
// 示例初始化(已简化)
|
||
let client = ApiClient::new(auth_source);
|
||
let request = MessageRequest {
|
||
model: "claude-3-5-sonnet-20241022".to_string(),
|
||
messages: vec![InputMessage::user("你好,世界!")],
|
||
..Default::default()
|
||
};
|
||
|
||
let stream = client.create_message_stream(request).await?;
|
||
```
|