aiagent/docs/天工平台能力评估报告.md

天工智能体平台 能力评估报告

评估日期：2026-06-21 | 版本：v1.1

---

一、总体评分

项目	分数	变化
综合评分	8.5 / 10	→
评级	企业级 AI Agent 平台，能力全面且深入	—

---

二、核心能力矩阵

维度	评分	变化	说明
记忆系统	9.5	—	13/13 能力全覆盖，向量检索+自主学习+全局知识池
多Agent编排	9.0	—	5 种协作模式 + Swarm 蜂群，Graph DAG 双引擎
工具体系	8.5	—	56 个内置工具，11 个类别，三种扩展方式
工作流引擎	8.5	—	15+ 节点类型，可视化拖拽，WebSocket 实时推送
知识库	8.5	—	文档 RAG + 知识图谱双引擎，6 种实体类型
API 完整度	8.0	—	37 个路由模块，~241 个端点
前端用户体验	8.5	+1.0	导航重构、暗色模式、反馈闭环、骨架屏、全局搜索
架构与基础设施	9.0	+0.5	数据库已迁移至本地，双向切换+增量同步方案完备
认证与安全	8.0	—	JWT 双 Token、CORS、bcrypt、Pydantic 校验
扩展性	8.5	—	水平扩展、模块化、Alembic 迁移、插件机制

---

三、架构概览

技术栈

层级	技术	版本
前端框架	Vue 3 (Composition API)	3.4+
前端构建	Vite	5+
状态管理	Pinia	2+
路由	Vue Router	4+
组件库	Element Plus	2.4.4
后端框架	FastAPI	0.110+
ORM	SQLAlchemy	2.0+
数据验证	Pydantic	2+
数据库	MySQL 5.7 (本地)	—
缓存/队列	Redis	7+
任务队列	Celery	5.3+
认证	JWT (Access + Refresh)	—
容器化	Docker + Docker Compose	—

当前部署状态

本地开发环境 (Windows 11)
├── 前端: localhost:3001 (Vite dev server)
├── API: 127.0.0.1:8037 (Uvicorn)
├── Celery: 后台 worker (线程池, 8 并发)
├── MySQL: localhost:3306 (已从腾讯云 CynosDB 离线迁移)
├── Redis: localhost:6379
└── 数据源: 5 个本地 MySQL 业务库 (food_db/music/pro_db/prompt_db/tishici)

---

四、前端用户体验 (v1.1 新增)

本次更新：2026-06-21

类别	新增/改进	文件
导航重构	5 组下拉菜单替换 22 项水平溢出菜单	MainLayout.vue
面包屑	自动路径追溯、溢出折叠、无障碍 ARIA	BreadcrumbNav.vue
全局搜索	Ctrl+K 命令面板、模糊搜索、最近记录持久化	GlobalSearch.vue
暗色模式	light/dark/auto 三种模式、系统跟随即切换	stores/theme.ts, styles/dark.css
通知中心	Bell 图标+未读计数、下拉面板、自动缩略时间	NotificationCenter.vue
反馈组件	浮动 FAB 按钮、4 种反馈类型、API 上报	FeedbackWidget.vue
骨架屏	表格首次加载骨架 (Agents/Home/Executions)	SkeletonTable.vue
空/错误状态	可复用占位组件，支持图标/描述/操作按钮	EmptyState.vue, ErrorState.vue
未保存保护	onBeforeRouteLeave + beforeunload 双重拦截	useUnsavedChanges.ts
登录优化	渐进式提示 (3 次引导重置密码 / 5 次缩短冷却)	Login.vue
监控统一	系统监控 + Agent 监控合并为 Tab 页	Monitoring.vue
功能精简	移除 Agent协作（与虚拟团队功能重合）	router/index.ts, MainLayout.vue
数据库管理	数据源接入页面+API，支持 MySQL/PG/API/JSON	DataSources.vue

前端组件清单

类型	数量	明细
页面视图	28	—
公共组件	9	BreadcrumbNav, GlobalSearch, NotificationCenter, FeedbackWidget, SkeletonTable, EmptyState, ErrorState, PromptTemplatePicker, AgentChatPreview
Composables	6	useUnsavedChanges, useCollaboration, useWebSocket, usePWA, useSpeechRecognition, useTTS
Pinia Stores	6	user, agent, workflow, execution, theme, modelConfig

---

五、记忆系统 (P0-P7)

记忆栈架构

┌──────────────┐  ┌──────────────┐  ┌──────────────┐
│  压缩记忆     │  │  向量语义记忆 │  │  自主学习模式 │
│  三级策略     │  │  BGE-M3 1024d│  │  LLM 提取    │
│  + 熔断保护   │  │  + LLM Rerank│  │              │
└──────┬───────┘  └──────┬───────┘  └──────┬───────┘
       │                 │                  │
  ┌────┴────┐      ┌────┴────┐       ┌─────┴─────┐
  │  后台   │      │ 4类分类 │       │ 工具调用   │
  │  异步   │      │ 离线降级│       │ 模式记录   │
  └─────────┘      └────┬────┘       └───────────┘
                        │
              ┌─────────┼─────────┐
              │         │         │
        ┌─────┴───┐ ┌──┴───┐ ┌───┴──────┐
        │  Auto   │ │ 团队 │ │ MEMORY.md│
        │  Dream  │ │ 共享 │ │ 文件兜底 │
        │  每日   │ │      │ │ 离线可用 │
        └─────────┘ └──────┘ └──────────┘

7 项改进详情

编号	改进	说明
P0	记忆分类	user / feedback / project / reference 四类自动分类
P1	压缩摘要向量化	LLM 压缩结果向量化写入，可被语义检索
P2	LLM Rerank	向量粗筛 → LLM 精选 (DeepSeek-V4)，提升检索精度
P3	后台异步提取	fire-and-forget 异步压缩，不阻塞对话响应
P4	Auto Dream	凌晨 3:00 触发，合并相似记忆 (>85%)，生成每日摘要
P5	离线关键词兜底	Embedding API 不可用时降级为 Jaccard 关键词匹配
P6	团队共享记忆	team_id 机制，记忆自动发布到团队池
P7	文件式记忆	MEMORY.md + YAML frontmatter，完全离线可用

vs Claude Code 记忆对比

能力项	天工	Claude Code	优势方
记忆分类	4类	4类	持平
压缩摘要	三级策略+熔断	智能压缩	持平
向量语义检索	BGE-M3 1024维	无	天工
LLM Rerank	DeepSeek-V4 精选	无	天工
后台异步压缩	fire-and-forget	有	持平
Auto Dream 每日整合	有	无	天工
离线兜底	关键词匹配	无	天工
团队共享	team_id 机制	无	天工
文件式记忆	MEMORY.md	MEMORY.md	持平
自主学习模式	工具调用模式学习	无	天工
全局知识池	跨Agent共享+去重	无	天工
规模扩展性	百万级	~200条	天工
总分	87	83	天工 +4

---

六、多 Agent 编排能力

5 种协作模式 (AgentOrchestrator)

模式	描述
route	Router LLM 分析问题 → 分发到最匹配的 Specialist Agent
sequential	Agent 流水线，前者输出作为后者输入，支持 {{variable}} 模板
debate	多 Agent 并行独立回答 → Aggregator 汇总
pipeline	Planner 制定计划 → Executor 逐步骤执行 → Reviewer 审查交付
graph	DAG 拓扑图编排，支持 agent/condition 节点，条件分支，入度调度

Agent 蜂群 (Swarm) — 额外 4 种模式

模式	描述
parallel	无依赖任务并发执行
pipeline	串行依赖链
debate	多方讨论 Consensus
leader_only	仅 Leader 执行

• Leader/Teammate 架构，Leader 自主决策动态分解任务
• Agent 间 Mailbox 消息通信（发布/订阅）
• asyncio.gather 并发执行

---

七、工具体系

56 个内置工具，11 个类别

类别	数量	代表工具
文件操作	2	file_read, file_write
网络请求	5	http_request, web_search, send_email, browser_use, url_parse
数据处理	7	text_analyze, json_process, math_calculate, regex_test, excel_process
数据库	1	database_query (只读 SELECT)
系统工具	6	system_info, datetime, git_operation, docker_manage, deploy_push, adb_log
AI Agent 扩展	13	agent_call, agent_create, tool_register, code_execute, task_plan, self_review
知识图谱	4	knowledge_graph_search, knowledge_graph_add, entity_search, learning_path
多模态	5	image_ocr, image_vision, speech_to_text, text_to_speech, pdf_generate
主Agent任务管理	4	create_task, assign_task, check_progress, notify_user
飞书集成	7	feishu_create_doc, feishu_search_contacts, feishu_send_approval
DevOps/测试	2	create_gitea_issue, parse_test_result_file

工具扩展能力

• HTTP 工具：动态注册外部 API
• 代码工具：沙箱执行（禁用 __builtins__）
• 工作流工具：封装为可调用工具
• 自定义工具：20 个已注册（数据库加载）

---

八、工作流引擎

节点类型 (15+)

start, input, output, end, llm, template, agent, condition, loop, transform, database, file, http, webhook, schedule, delay/timer, email, message_queue, code

核心特性

• 可视化拖拽设计器（Vue Flow）
• 条件分支、循环节点
• 未保存变更保护（beforeunload + route guard）
• 模板导入/导出
• WebSocket 实时推送执行进度
• 节点级测试功能
• DSL 解析与验证
• 沙箱代码执行
• Celery 异步任务分发

---

九、知识库能力

能力	实现
文档解析	PDF / TXT / Markdown / Word
文本分块	可配置块大小与重叠
向量化	BGE-M3 Embedding → MySQL 存储
语义检索	余弦相似度 + RAG 上下文注入
知识图谱	实体抽取 + 关系构建（6种关系类型）
图谱查询	邻近节点 / 路径查找 / 子图展开
融合检索	向量 + 图谱双引擎
知识进化	Agent 执行结果自动提取 → 全局知识池
TTL 管理	时效控制 + 置信度评估
实体类型	concept / formula / fact / term / task / skill

---

十、前端页面 (28页)

模块	页面
主控台	MainConsole, Home
Agent 管理	Agents, AgentConfig, AgentChat, AgentDashboard, AgentMarket, AgentSchedules
工作流	WorkflowDesigner, Executions, ExecutionDetail, ExecutionBoard
知识/工具	KnowledgeDashboard, Tools, DataSources
模板/插件	TemplateMarket, PluginMarket, NodeTemplates
监控/日志	Monitoring (系统+Agent合并), AlertRules, SystemLogs
用户/权限	Login, PermissionManagement, ModelConfigs
创新功能	DigitalEmployeeFactory, DigitalTwin, GoalDetail

---

十一、API 端点

37 个路由模块，~241 个端点

主要模块：agents, agent_chat, agent_market, agent_swarm, agent_branches, agent_schedules, agent_monitoring, workflows, executions, tasks, tools, knowledge_base, data_sources, model_configs, plugins, collaboration, permissions, monitoring, alert_rules, audit_logs, auth, uploads, webhooks, websocket, feishu_bind, approval, feedback, goals, notifications, orchestration_templates, platform_templates, batch_operations

---

十二、代码规模

层级	数量
后端 Service 模块	~70 个
Agent 运行时模块	12 个
核心基础设施模块	22 个
前端页面	28 个
前端公共组件	9 个
前端 Composables	6 个
Pinia Stores	6 个
API 路由模块	37 个
API 端点	~241 个
内置工具	56 个
自定义工具	20 个
数据源	5 个 (本地 MySQL)

---

十三、数据规模

实体	数量
用户	45
Agent	44
工作流	20
团队	67
执行记录	672
工作区	1 (默认)
数据库体积	~210 MB

---

十四、亮点与优势

1. 记忆系统行业领先：7 轮改进 (P0-P7)，13/13 能力全覆盖，向量检索+自主学习+全局知识池
2. 多 Agent 编排业界领先：5+4 种协作模式，Graph DAG + Swarm 蜂群双引擎
3. 工具体系完整：56 内置 + 20 自定义工具，覆盖 11 个领域
4. 前端体验成熟：暗色模式、全局搜索、通知中心、反馈闭环、骨架屏、未保存保护
5. 生产级架构：JWT 双 Token、Celery 异步、WebSocket 实时推送
6. 飞书深度集成：7 个飞书工具 + 6 个独立飞书机器人
7. 知识库双引擎：文档 RAG + 知识图谱融合检索
8. 离线自托管：数据库完全本地化，不依赖云服务
9. 全面测试覆盖：99 个记忆系统测试用例，100% 通过

---

十五、待提升领域

领域	当前状态	建议
移动端适配	仅 PC Web	开发移动端 App 或 PWA 增强
国际化	仅中文	引入 vue-i18n，支持中英文
数据可视化	基础图表	增加 Agent 分析仪表盘
文档完整度	~60%	补充 API 文档和使用手册
离线语义理解	关键词匹配	考虑本地小模型 embedding
CI/CD	手动部署	引入 GitHub Actions 自动化
单元测试	仅记忆系统	扩展至 API 和工作流引擎

---

最后更新：2026-06-21 | 基于实际项目文件与数据库统计自动生成