332 lines
14 KiB
Markdown
332 lines
14 KiB
Markdown
# 天工智能体平台 能力评估报告
|
||
|
||
> 评估日期：2026-06-21 | 版本：v1.1
|
||
|
||
---
|
||
|
||
## 一、总体评分
|
||
|
||
| 项目 | 分数 | 变化 |
|
||
|------|:----:|:----:|
|
||
| **综合评分** | **8.5 / 10** | → |
|
||
| 评级 | 企业级 AI Agent 平台，能力全面且深入 | — |
|
||
|
||
---
|
||
|
||
## 二、核心能力矩阵
|
||
|
||
| 维度 | 评分 | 变化 | 说明 |
|
||
|------|:----:|:----:|------|
|
||
| 记忆系统 | 9.5 | — | 13/13 能力全覆盖，向量检索+自主学习+全局知识池 |
|
||
| 多Agent编排 | 9.0 | — | 5 种协作模式 + Swarm 蜂群，Graph DAG 双引擎 |
|
||
| 工具体系 | 8.5 | — | 56 个内置工具，11 个类别，三种扩展方式 |
|
||
| 工作流引擎 | 8.5 | — | 15+ 节点类型，可视化拖拽，WebSocket 实时推送 |
|
||
| 知识库 | 8.5 | — | 文档 RAG + 知识图谱双引擎，6 种实体类型 |
|
||
| API 完整度 | 8.0 | — | 37 个路由模块，~241 个端点 |
|
||
| **前端用户体验** | **8.5** | **+1.0** | 导航重构、暗色模式、反馈闭环、骨架屏、全局搜索 |
|
||
| 架构与基础设施 | **9.0** | **+0.5** | 数据库已迁移至本地，双向切换+增量同步方案完备 |
|
||
| 认证与安全 | 8.0 | — | JWT 双 Token、CORS、bcrypt、Pydantic 校验 |
|
||
| 扩展性 | 8.5 | — | 水平扩展、模块化、Alembic 迁移、插件机制 |
|
||
|
||
---
|
||
|
||
## 三、架构概览
|
||
|
||
### 技术栈
|
||
|
||
| 层级 | 技术 | 版本 |
|
||
|------|------|------|
|
||
| 前端框架 | Vue 3 (Composition API) | 3.4+ |
|
||
| 前端构建 | Vite | 5+ |
|
||
| 状态管理 | Pinia | 2+ |
|
||
| 路由 | Vue Router | 4+ |
|
||
| 组件库 | Element Plus | 2.4.4 |
|
||
| 后端框架 | FastAPI | 0.110+ |
|
||
| ORM | SQLAlchemy | 2.0+ |
|
||
| 数据验证 | Pydantic | 2+ |
|
||
| 数据库 | MySQL 5.7 (本地) | — |
|
||
| 缓存/队列 | Redis | 7+ |
|
||
| 任务队列 | Celery | 5.3+ |
|
||
| 认证 | JWT (Access + Refresh) | — |
|
||
| 容器化 | Docker + Docker Compose | — |
|
||
|
||
### 当前部署状态
|
||
|
||
```
|
||
本地开发环境 (Windows 11)
|
||
├── 前端: localhost:3001 (Vite dev server)
|
||
├── API: 127.0.0.1:8037 (Uvicorn)
|
||
├── Celery: 后台 worker (线程池, 8 并发)
|
||
├── MySQL: localhost:3306 (已从腾讯云 CynosDB 离线迁移)
|
||
├── Redis: localhost:6379
|
||
└── 数据源: 5 个本地 MySQL 业务库 (food_db/music/pro_db/prompt_db/tishici)
|
||
```
|
||
|
||
---
|
||
|
||
## 四、前端用户体验 (v1.1 新增)
|
||
|
||
### 本次更新：2026-06-21
|
||
|
||
| 类别 | 新增/改进 | 文件 |
|
||
|------|----------|------|
|
||
| 导航重构 | 5 组下拉菜单替换 22 项水平溢出菜单 | MainLayout.vue |
|
||
| 面包屑 | 自动路径追溯、溢出折叠、无障碍 ARIA | BreadcrumbNav.vue |
|
||
| 全局搜索 | Ctrl+K 命令面板、模糊搜索、最近记录持久化 | GlobalSearch.vue |
|
||
| 暗色模式 | light/dark/auto 三种模式、系统跟随即切换 | stores/theme.ts, styles/dark.css |
|
||
| 通知中心 | Bell 图标+未读计数、下拉面板、自动缩略时间 | NotificationCenter.vue |
|
||
| 反馈组件 | 浮动 FAB 按钮、4 种反馈类型、API 上报 | FeedbackWidget.vue |
|
||
| 骨架屏 | 表格首次加载骨架 (Agents/Home/Executions) | SkeletonTable.vue |
|
||
| 空/错误状态 | 可复用占位组件，支持图标/描述/操作按钮 | EmptyState.vue, ErrorState.vue |
|
||
| 未保存保护 | onBeforeRouteLeave + beforeunload 双重拦截 | useUnsavedChanges.ts |
|
||
| 登录优化 | 渐进式提示 (3 次引导重置密码 / 5 次缩短冷却) | Login.vue |
|
||
| 监控统一 | 系统监控 + Agent 监控合并为 Tab 页 | Monitoring.vue |
|
||
| 功能精简 | 移除 Agent协作（与虚拟团队功能重合） | router/index.ts, MainLayout.vue |
|
||
| 数据库管理 | 数据源接入页面+API，支持 MySQL/PG/API/JSON | DataSources.vue |
|
||
|
||
### 前端组件清单
|
||
|
||
| 类型 | 数量 | 明细 |
|
||
|------|:----:|------|
|
||
| 页面视图 | 28 | — |
|
||
| 公共组件 | 9 | BreadcrumbNav, GlobalSearch, NotificationCenter, FeedbackWidget, SkeletonTable, EmptyState, ErrorState, PromptTemplatePicker, AgentChatPreview |
|
||
| Composables | 6 | useUnsavedChanges, useCollaboration, useWebSocket, usePWA, useSpeechRecognition, useTTS |
|
||
| Pinia Stores | 6 | user, agent, workflow, execution, theme, modelConfig |
|
||
|
||
---
|
||
|
||
## 五、记忆系统 (P0-P7)
|
||
|
||
### 记忆栈架构
|
||
|
||
```
|
||
┌──────────────┐ ┌──────────────┐ ┌──────────────┐
|
||
│ 压缩记忆 │ │ 向量语义记忆 │ │ 自主学习模式 │
|
||
│ 三级策略 │ │ BGE-M3 1024d│ │ LLM 提取 │
|
||
│ + 熔断保护 │ │ + LLM Rerank│ │ │
|
||
└──────┬───────┘ └──────┬───────┘ └──────┬───────┘
|
||
│ │ │
|
||
┌────┴────┐ ┌────┴────┐ ┌─────┴─────┐
|
||
│ 后台 │ │ 4类分类 │ │ 工具调用 │
|
||
│ 异步 │ │ 离线降级│ │ 模式记录 │
|
||
└─────────┘ └────┬────┘ └───────────┘
|
||
│
|
||
┌─────────┼─────────┐
|
||
│ │ │
|
||
┌─────┴───┐ ┌──┴───┐ ┌───┴──────┐
|
||
│ Auto │ │ 团队 │ │ MEMORY.md│
|
||
│ Dream │ │ 共享 │ │ 文件兜底 │
|
||
│ 每日 │ │ │ │ 离线可用 │
|
||
└─────────┘ └──────┘ └──────────┘
|
||
```
|
||
|
||
### 7 项改进详情
|
||
|
||
| 编号 | 改进 | 说明 |
|
||
|:----:|------|------|
|
||
| P0 | 记忆分类 | user / feedback / project / reference 四类自动分类 |
|
||
| P1 | 压缩摘要向量化 | LLM 压缩结果向量化写入，可被语义检索 |
|
||
| P2 | LLM Rerank | 向量粗筛 → LLM 精选 (DeepSeek-V4)，提升检索精度 |
|
||
| P3 | 后台异步提取 | fire-and-forget 异步压缩，不阻塞对话响应 |
|
||
| P4 | Auto Dream | 凌晨 3:00 触发，合并相似记忆 (>85%)，生成每日摘要 |
|
||
| P5 | 离线关键词兜底 | Embedding API 不可用时降级为 Jaccard 关键词匹配 |
|
||
| P6 | 团队共享记忆 | team_id 机制，记忆自动发布到团队池 |
|
||
| P7 | 文件式记忆 | MEMORY.md + YAML frontmatter，完全离线可用 |
|
||
|
||
### vs Claude Code 记忆对比
|
||
|
||
| 能力项 | 天工 | Claude Code | 优势方 |
|
||
|--------|:---:|:---:|:------:|
|
||
| 记忆分类 | 4类 | 4类 | 持平 |
|
||
| 压缩摘要 | 三级策略+熔断 | 智能压缩 | 持平 |
|
||
| 向量语义检索 | BGE-M3 1024维 | 无 | **天工** |
|
||
| LLM Rerank | DeepSeek-V4 精选 | 无 | **天工** |
|
||
| 后台异步压缩 | fire-and-forget | 有 | 持平 |
|
||
| Auto Dream 每日整合 | 有 | 无 | **天工** |
|
||
| 离线兜底 | 关键词匹配 | 无 | **天工** |
|
||
| 团队共享 | team_id 机制 | 无 | **天工** |
|
||
| 文件式记忆 | MEMORY.md | MEMORY.md | 持平 |
|
||
| 自主学习模式 | 工具调用模式学习 | 无 | **天工** |
|
||
| 全局知识池 | 跨Agent共享+去重 | 无 | **天工** |
|
||
| 规模扩展性 | 百万级 | ~200条 | **天工** |
|
||
| **总分** | **87** | **83** | **天工 +4** |
|
||
|
||
---
|
||
|
||
## 六、多 Agent 编排能力
|
||
|
||
### 5 种协作模式 (AgentOrchestrator)
|
||
|
||
| 模式 | 描述 |
|
||
|------|------|
|
||
| **route** | Router LLM 分析问题 → 分发到最匹配的 Specialist Agent |
|
||
| **sequential** | Agent 流水线，前者输出作为后者输入，支持 `{{variable}}` 模板 |
|
||
| **debate** | 多 Agent 并行独立回答 → Aggregator 汇总 |
|
||
| **pipeline** | Planner 制定计划 → Executor 逐步骤执行 → Reviewer 审查交付 |
|
||
| **graph** | DAG 拓扑图编排，支持 agent/condition 节点，条件分支，入度调度 |
|
||
|
||
### Agent 蜂群 (Swarm) — 额外 4 种模式
|
||
|
||
| 模式 | 描述 |
|
||
|------|------|
|
||
| **parallel** | 无依赖任务并发执行 |
|
||
| **pipeline** | 串行依赖链 |
|
||
| **debate** | 多方讨论 Consensus |
|
||
| **leader_only** | 仅 Leader 执行 |
|
||
|
||
- Leader/Teammate 架构，Leader 自主决策动态分解任务
|
||
- Agent 间 Mailbox 消息通信（发布/订阅）
|
||
- asyncio.gather 并发执行
|
||
|
||
---
|
||
|
||
## 七、工具体系
|
||
|
||
### 56 个内置工具，11 个类别
|
||
|
||
| 类别 | 数量 | 代表工具 |
|
||
|------|:----:|------|
|
||
| 文件操作 | 2 | file_read, file_write |
|
||
| 网络请求 | 5 | http_request, web_search, send_email, browser_use, url_parse |
|
||
| 数据处理 | 7 | text_analyze, json_process, math_calculate, regex_test, excel_process |
|
||
| 数据库 | 1 | database_query (只读 SELECT) |
|
||
| 系统工具 | 6 | system_info, datetime, git_operation, docker_manage, deploy_push, adb_log |
|
||
| AI Agent 扩展 | 13 | agent_call, agent_create, tool_register, code_execute, task_plan, self_review |
|
||
| 知识图谱 | 4 | knowledge_graph_search, knowledge_graph_add, entity_search, learning_path |
|
||
| 多模态 | 5 | image_ocr, image_vision, speech_to_text, text_to_speech, pdf_generate |
|
||
| 主Agent任务管理 | 4 | create_task, assign_task, check_progress, notify_user |
|
||
| 飞书集成 | 7 | feishu_create_doc, feishu_search_contacts, feishu_send_approval |
|
||
| DevOps/测试 | 2 | create_gitea_issue, parse_test_result_file |
|
||
|
||
### 工具扩展能力
|
||
|
||
- HTTP 工具：动态注册外部 API
|
||
- 代码工具：沙箱执行（禁用 `__builtins__`）
|
||
- 工作流工具：封装为可调用工具
|
||
- 自定义工具：20 个已注册（数据库加载）
|
||
|
||
---
|
||
|
||
## 八、工作流引擎
|
||
|
||
### 节点类型 (15+)
|
||
|
||
start, input, output, end, llm, template, agent, condition, loop, transform, database, file, http, webhook, schedule, delay/timer, email, message_queue, code
|
||
|
||
### 核心特性
|
||
|
||
- 可视化拖拽设计器（Vue Flow）
|
||
- 条件分支、循环节点
|
||
- 未保存变更保护（beforeunload + route guard）
|
||
- 模板导入/导出
|
||
- WebSocket 实时推送执行进度
|
||
- 节点级测试功能
|
||
- DSL 解析与验证
|
||
- 沙箱代码执行
|
||
- Celery 异步任务分发
|
||
|
||
---
|
||
|
||
## 九、知识库能力
|
||
|
||
| 能力 | 实现 |
|
||
|------|------|
|
||
| 文档解析 | PDF / TXT / Markdown / Word |
|
||
| 文本分块 | 可配置块大小与重叠 |
|
||
| 向量化 | BGE-M3 Embedding → MySQL 存储 |
|
||
| 语义检索 | 余弦相似度 + RAG 上下文注入 |
|
||
| 知识图谱 | 实体抽取 + 关系构建（6种关系类型） |
|
||
| 图谱查询 | 邻近节点 / 路径查找 / 子图展开 |
|
||
| 融合检索 | 向量 + 图谱双引擎 |
|
||
| 知识进化 | Agent 执行结果自动提取 → 全局知识池 |
|
||
| TTL 管理 | 时效控制 + 置信度评估 |
|
||
| 实体类型 | concept / formula / fact / term / task / skill |
|
||
|
||
---
|
||
|
||
## 十、前端页面 (28页)
|
||
|
||
| 模块 | 页面 |
|
||
|------|------|
|
||
| 主控台 | MainConsole, Home |
|
||
| Agent 管理 | Agents, AgentConfig, AgentChat, AgentDashboard, AgentMarket, AgentSchedules |
|
||
| 工作流 | WorkflowDesigner, Executions, ExecutionDetail, ExecutionBoard |
|
||
| 知识/工具 | KnowledgeDashboard, Tools, DataSources |
|
||
| 模板/插件 | TemplateMarket, PluginMarket, NodeTemplates |
|
||
| 监控/日志 | Monitoring (系统+Agent合并), AlertRules, SystemLogs |
|
||
| 用户/权限 | Login, PermissionManagement, ModelConfigs |
|
||
| 创新功能 | DigitalEmployeeFactory, DigitalTwin, GoalDetail |
|
||
|
||
---
|
||
|
||
## 十一、API 端点
|
||
|
||
### 37 个路由模块，~241 个端点
|
||
|
||
主要模块：agents, agent_chat, agent_market, agent_swarm, agent_branches, agent_schedules, agent_monitoring, workflows, executions, tasks, tools, knowledge_base, data_sources, model_configs, plugins, collaboration, permissions, monitoring, alert_rules, audit_logs, auth, uploads, webhooks, websocket, feishu_bind, approval, feedback, goals, notifications, orchestration_templates, platform_templates, batch_operations
|
||
|
||
---
|
||
|
||
## 十二、代码规模
|
||
|
||
| 层级 | 数量 |
|
||
|------|:----:|
|
||
| 后端 Service 模块 | ~70 个 |
|
||
| Agent 运行时模块 | 12 个 |
|
||
| 核心基础设施模块 | 22 个 |
|
||
| 前端页面 | 28 个 |
|
||
| 前端公共组件 | 9 个 |
|
||
| 前端 Composables | 6 个 |
|
||
| Pinia Stores | 6 个 |
|
||
| API 路由模块 | 37 个 |
|
||
| API 端点 | ~241 个 |
|
||
| 内置工具 | 56 个 |
|
||
| 自定义工具 | 20 个 |
|
||
| 数据源 | 5 个 (本地 MySQL) |
|
||
|
||
---
|
||
|
||
## 十三、数据规模
|
||
|
||
| 实体 | 数量 |
|
||
|------|:----:|
|
||
| 用户 | 45 |
|
||
| Agent | 44 |
|
||
| 工作流 | 20 |
|
||
| 团队 | 67 |
|
||
| 执行记录 | 672 |
|
||
| 工作区 | 1 (默认) |
|
||
| 数据库体积 | ~210 MB |
|
||
|
||
---
|
||
|
||
## 十四、亮点与优势
|
||
|
||
1. **记忆系统行业领先**：7 轮改进 (P0-P7)，13/13 能力全覆盖，向量检索+自主学习+全局知识池
|
||
2. **多 Agent 编排业界领先**：5+4 种协作模式，Graph DAG + Swarm 蜂群双引擎
|
||
3. **工具体系完整**：56 内置 + 20 自定义工具，覆盖 11 个领域
|
||
4. **前端体验成熟**：暗色模式、全局搜索、通知中心、反馈闭环、骨架屏、未保存保护
|
||
5. **生产级架构**：JWT 双 Token、Celery 异步、WebSocket 实时推送
|
||
6. **飞书深度集成**：7 个飞书工具 + 6 个独立飞书机器人
|
||
7. **知识库双引擎**：文档 RAG + 知识图谱融合检索
|
||
8. **离线自托管**：数据库完全本地化，不依赖云服务
|
||
9. **全面测试覆盖**：99 个记忆系统测试用例，100% 通过
|
||
|
||
---
|
||
|
||
## 十五、待提升领域
|
||
|
||
| 领域 | 当前状态 | 建议 |
|
||
|------|---------|------|
|
||
| 移动端适配 | 仅 PC Web | 开发移动端 App 或 PWA 增强 |
|
||
| 国际化 | 仅中文 | 引入 vue-i18n，支持中英文 |
|
||
| 数据可视化 | 基础图表 | 增加 Agent 分析仪表盘 |
|
||
| 文档完整度 | ~60% | 补充 API 文档和使用手册 |
|
||
| 离线语义理解 | 关键词匹配 | 考虑本地小模型 embedding |
|
||
| CI/CD | 手动部署 | 引入 GitHub Actions 自动化 |
|
||
| 单元测试 | 仅记忆系统 | 扩展至 API 和工作流引擎 |
|
||
|
||
---
|
||
|
||
> 最后更新：2026-06-21 | 基于实际项目文件与数据库统计自动生成
|