后端:
- server: 实现完整的 HTTP 会话管理(CRUD)+ SSE 事件流推送,
支持双通道架构(POST 发消息 + GET SSE 接收流式响应)
- runtime: ContentBlock 新增 Thinking / RedactedThinking 变体,
支持思考过程和已编辑思考的序列化/反序列化
- api: 注册 GLM 系列模型(glm-4/5 等)到模型注册表,
扩展 XAI/OpenAI 兼容提供商的请求构建逻辑
前端:
- 基于 Ant Design X 构建完整聊天界面:Bubble.List 消息列表、
Sender 输入框、Conversations 会话管理、Think 思考过程折叠、
ThoughtChain 工具调用链展示
- XMarkdown 集成:代码高亮、Mermaid 图表、LaTeX 公式、
自定义脚注、流式渲染(incomplete 占位符)
- SSE Hook 对接服务端事件流,手动管理 AssistantBuffer 累积 delta
- 深色/浅色主题切换,会话侧边栏(新建/切换/删除)
|
||
|---|---|---|
| .. | ||
| src | ||
| tests | ||
| Cargo.toml | ||
| README.md | ||
API 模块 (api)
本模块提供了与大型语言模型 (LLM) 服务提供商(主要是 Anthropic 的 Claude 和兼容 OpenAI 的服务)进行交互的高层抽象和客户端。
概览
api 模块负责以下职责:
- 标准化与不同 AI 提供商的通信。
- 通过服务器发送事件 (SSE) 处理流式响应。
- 管理身份验证源(API 密钥、OAuth 令牌)。
- 提供消息、工具和使用情况跟踪的共享数据结构。
关键特性
- 提供商抽象 (Provider Abstraction):支持多种 AI 后端,包括:
ClawApiClient: Claude 模型的主要提供商。OpenAiCompatClient: 支持兼容 OpenAI 的 API(如本地模型、专门的提供商)。
- 流式支持 (Streaming Support):健壮的 SSE 解析实现 (
SseParser),用于处理实时的内容生成。 - 工具集成 (Tool Integration):为
ToolDefinition、ToolChoice和ToolResultContentBlock提供强类型定义,支持智能代理 (Agentic) 工作流。 - 身份验证管理 (Auth Management):用于解析启动身份验证源和管理 OAuth 令牌的实用工具。
- 模型智能 (Model Intelligence):解析模型别名和计算最大标记 (Token) 限制的元数据及辅助函数。
实现逻辑
核心模块
client.rs: 定义了ProviderClient特性 (Trait) 和基础客户端逻辑。它使用reqwest处理 HTTP 请求,并管理消息流的生命周期。types.rs: 包含 API 的核心数据模型,如InputMessage、OutputContentBlock以及MessageRequest/MessageResponse。sse.rs: 实现了一个状态化的 SSE 解析器,能够处理分段的数据块并发出类型化的StreamEvent。providers/: 包含针对不同 LLM 端点的特定逻辑,将它们的独特格式映射到本模块使用的共享类型。
数据流
- 构建包含模型详情、消息和工具定义的
MessageRequest。 ApiClient将此请求转换为提供商特定的 HTTP 请求。- 如果启用了流式传输,客户端返回一个
MessageStream,该流使用SseParser来产生StreamEvent。 - 最终响应包含用于跟踪 Token 消耗的
Usage信息。
使用示例
use api::{ApiClient, MessageRequest, InputMessage};
// 示例初始化(已简化)
let client = ApiClient::new(auth_source);
let request = MessageRequest {
model: "claude-3-5-sonnet-20241022".to_string(),
messages: vec![InputMessage::user("你好,世界!")],
..Default::default()
};
let stream = client.create_message_stream(request).await?;