Files
aiagent/docs/project-structure.md

180 lines
6.8 KiB
Markdown
Raw Normal View History

fix: 修复35个安全与功能缺陷,补全知识进化/数字孪生/行为采集模块 ## 安全修复 (12项) - Webhook接口添加全局Token认证,过滤敏感请求头 - 修复JWT Base64 padding公式,防止签名验证绕过 - 数据库密码/飞书Token从源码移除,改为环境变量 - 工作流引擎添加路径遍历防护 (_resolve_safe_path) - eval()添加模板长度上限检查 - 审批API添加认证依赖 - 前端v-html增强XSS转义,console.log仅开发模式输出 - 500错误不再暴露内部异常详情 ## Agent运行时修复 (7项) - 删除_inject_knowledge_context中未定义db变量的finally块 - 工具执行添加try/except保护,异常不崩溃Agent - LLM重试计入budget计数器 - self_review异常时passed=False - max_iterations截断标记success=False - 工具参数JSON解析失败时记录警告日志 - run()开始时重置_llm_invocations计数器 ## 配置与基础设施 - DEBUG默认False,SQL_ECHO独立配置项 - init_db()补全13个缺失模型导入 - 新增WEBHOOK_AUTH_TOKEN/SQL_ECHO配置项 - 新增.env.example模板文件 ## 前端修复 (12项) - 登录改用URLSearchParams替代FormData - 401拦截器通过Pinia store统一清理状态 - SSE流超时从60s延长至300s - final/error事件时清除streamTimeout - localStorage聊天记录添加24h TTL - safeParseArgCount替代模板中裸JSON.parse - fetchUser 401时同时清除user对象 ## 新增模块 - 知识进化: knowledge_extractor/retriever/tasks - 数字孪生: shadow_executor/comparison模型 - 行为采集: behavior_middleware/collector/fingerprint_engine - 代码审查: code_review_agent/document_review_agent - 反馈学习: feedback_learner - 瓶颈检测/优化引擎/成本估算/需求估算 - 速率限制器 (rate_limiter) - Alembic迁移 015-020 ## 文档 - 商业化落地计划 - 8篇docs文档 (架构/API/部署/开发/贡献等) - Docker Compose生产配置 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-05-10 19:50:20 +08:00
# 🏗️ 项目结构概览
> **Project Structure Overview**
天工智能体平台采用前后端分离的架构,使用 pnpm + Vite + Vue 3 构建前端FastAPI + SQLAlchemy 构建后端,通过 Celery + Redis 实现异步任务处理。
---
## 📁 顶层结构
```
aiagent/
├── frontend/ # 前端项目
│ ├── src/ # 源码目录
│ │ ├── views/ # 页面组件
│ │ ├── components/ # 公共组件
│ │ ├── stores/ # Pinia 状态管理
│ │ ├── utils/ # 工具函数
│ │ └── router/ # 路由配置
│ ├── public/ # 静态资源
│ ├── index.html # 入口 HTML
│ ├── vite.config.js # Vite 配置
│ └── package.json # 前端依赖
├── backend/ # 后端项目
│ ├── app/ # 应用主目录
│ │ ├── modules/ # 业务模块
│ │ ├── core/ # 核心功能配置、安全、Celery
│ │ ├── models/ # SQLAlchemy 数据模型
│ │ ├── schemas/ # Pydantic 数据验证模型
│ │ ├── api/ # API 路由定义
│ │ ├── services/ # 业务逻辑层
│ │ └── utils/ # 通用工具函数
│ ├── tests/ # 测试用例
│ ├── alembic/ # 数据库迁移
│ ├── requirements.txt # Python 依赖
│ └── Dockerfile # 后端 Docker 镜像
├── docker-compose.dev.yml # Docker Compose 开发配置
├── nginx.conf # Nginx 反向代理配置
├── .gitignore # Git 忽略规则
└── README.md # 项目总览文档
```
---
## 🖥️ 前端结构详解
### 目录路径约定
| 目录 | 用途 |
|:----|:------|
| `frontend/src/views/` | 页面级组件,按功能模块组织(如 `smart-assistant/`, `market/` |
| `frontend/src/components/` | 可复用 UI 组件 |
| `frontend/src/stores/` | Pinia store按模块管理全局状态 |
| `frontend/src/router/` | 路由配置,含权限控制守卫 |
| `frontend/src/utils/` | 通用工具函数(如 API 请求封装) |
| `frontend/public/` | 无需编译的静态资源 |
---
## ⚙️ 后端结构详解
### 模块化组织
```
backend/app/
├── main.py # FastAPI 应用入口,路由注册,中间件配置
fix: 修复35个安全与功能缺陷,补全知识进化/数字孪生/行为采集模块 ## 安全修复 (12项) - Webhook接口添加全局Token认证,过滤敏感请求头 - 修复JWT Base64 padding公式,防止签名验证绕过 - 数据库密码/飞书Token从源码移除,改为环境变量 - 工作流引擎添加路径遍历防护 (_resolve_safe_path) - eval()添加模板长度上限检查 - 审批API添加认证依赖 - 前端v-html增强XSS转义,console.log仅开发模式输出 - 500错误不再暴露内部异常详情 ## Agent运行时修复 (7项) - 删除_inject_knowledge_context中未定义db变量的finally块 - 工具执行添加try/except保护,异常不崩溃Agent - LLM重试计入budget计数器 - self_review异常时passed=False - max_iterations截断标记success=False - 工具参数JSON解析失败时记录警告日志 - run()开始时重置_llm_invocations计数器 ## 配置与基础设施 - DEBUG默认False,SQL_ECHO独立配置项 - init_db()补全13个缺失模型导入 - 新增WEBHOOK_AUTH_TOKEN/SQL_ECHO配置项 - 新增.env.example模板文件 ## 前端修复 (12项) - 登录改用URLSearchParams替代FormData - 401拦截器通过Pinia store统一清理状态 - SSE流超时从60s延长至300s - final/error事件时清除streamTimeout - localStorage聊天记录添加24h TTL - safeParseArgCount替代模板中裸JSON.parse - fetchUser 401时同时清除user对象 ## 新增模块 - 知识进化: knowledge_extractor/retriever/tasks - 数字孪生: shadow_executor/comparison模型 - 行为采集: behavior_middleware/collector/fingerprint_engine - 代码审查: code_review_agent/document_review_agent - 反馈学习: feedback_learner - 瓶颈检测/优化引擎/成本估算/需求估算 - 速率限制器 (rate_limiter) - Alembic迁移 015-020 ## 文档 - 商业化落地计划 - 8篇docs文档 (架构/API/部署/开发/贡献等) - Docker Compose生产配置 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-05-10 19:50:20 +08:00
├── core/
│ ├── config.py # 配置管理(读取 .env
│ ├── database.py # 数据库连接、会话管理、init_db()
fix: 修复35个安全与功能缺陷,补全知识进化/数字孪生/行为采集模块 ## 安全修复 (12项) - Webhook接口添加全局Token认证,过滤敏感请求头 - 修复JWT Base64 padding公式,防止签名验证绕过 - 数据库密码/飞书Token从源码移除,改为环境变量 - 工作流引擎添加路径遍历防护 (_resolve_safe_path) - eval()添加模板长度上限检查 - 审批API添加认证依赖 - 前端v-html增强XSS转义,console.log仅开发模式输出 - 500错误不再暴露内部异常详情 ## Agent运行时修复 (7项) - 删除_inject_knowledge_context中未定义db变量的finally块 - 工具执行添加try/except保护,异常不崩溃Agent - LLM重试计入budget计数器 - self_review异常时passed=False - max_iterations截断标记success=False - 工具参数JSON解析失败时记录警告日志 - run()开始时重置_llm_invocations计数器 ## 配置与基础设施 - DEBUG默认False,SQL_ECHO独立配置项 - init_db()补全13个缺失模型导入 - 新增WEBHOOK_AUTH_TOKEN/SQL_ECHO配置项 - 新增.env.example模板文件 ## 前端修复 (12项) - 登录改用URLSearchParams替代FormData - 401拦截器通过Pinia store统一清理状态 - SSE流超时从60s延长至300s - final/error事件时清除streamTimeout - localStorage聊天记录添加24h TTL - safeParseArgCount替代模板中裸JSON.parse - fetchUser 401时同时清除user对象 ## 新增模块 - 知识进化: knowledge_extractor/retriever/tasks - 数字孪生: shadow_executor/comparison模型 - 行为采集: behavior_middleware/collector/fingerprint_engine - 代码审查: code_review_agent/document_review_agent - 反馈学习: feedback_learner - 瓶颈检测/优化引擎/成本估算/需求估算 - 速率限制器 (rate_limiter) - Alembic迁移 015-020 ## 文档 - 商业化落地计划 - 8篇docs文档 (架构/API/部署/开发/贡献等) - Docker Compose生产配置 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-05-10 19:50:20 +08:00
│ ├── security.py # JWT 认证、密码加密
│ ├── exceptions.py # 全局异常处理BaseAPIException
│ ├── error_handler.py # 异常 → HTTP 响应映射
│ ├── rate_limiter.py # Redis 滑动窗口限流中间件
│ ├── security_headers.py# HSTS/安全头中间件
│ ├── behavior_middleware.py # 用户行为采集中间件
│ └── metrics.py # Prometheus 指标暴露
├── api/ # API 路由45 个模块245+ 端点)
│ ├── agents.py # Agent CRUD/执行/导入导出
│ ├── agent_chat.py # 对话/SSE 流式/编排
│ ├── agent_market.py # Agent 技能市场
│ ├── agent_swarm.py # Agent 蜂群
│ ├── workflows.py # 工作流 CRUD/执行/版本
│ ├── knowledge_base.py # 知识库/文档/搜索/RAG
│ ├── tools.py # 工具管理
│ ├── scene_contracts.py # 统一 DSL 场景契约
│ ├── template_market.py # 工作流模板市场
│ ├── platform_templates.py # 场景模板一键创建
│ ├── plugins.py # 插件系统
│ ├── alert_rules.py # 告警规则
│ ├── monitoring.py # 系统监控
│ ├── feishu_bind.py # 飞书集成
│ ├── auth.py # 认证(注册/登录/JWT
│ ├── workspaces.py # 多租户工作区
│ ├── push.py # 浏览器推送通知
│ ├── fcm.py # Firebase Cloud Messaging
│ ├── voice.py # 语音/TTS
│ ├── uploads.py # 文件上传
│ └── ... # 更多 API 模块
├── models/ # SQLAlchemy ORM 模型37 个文件50+ 张表)
│ ├── agent.py # Agent, GlobalKnowledge, KnowledgeEntity, etc.
│ ├── workflow.py # Workflow
│ ├── workflow_version.py# WorkflowVersion
│ ├── workflow_template.py # WorkflowTemplate, TemplateRating, TemplateFavorite
│ ├── execution.py # Execution
│ ├── execution_log.py # ExecutionLog
│ ├── agent_llm_log.py # AgentLLMLogLLM 调用日志)
│ ├── agent_vector_memory.py # AgentVectorMemory向量记忆
│ ├── knowledge_base.py # KnowledgeBase, Document, DocumentChunk
│ ├── node_template.py # NodeTemplate提示词模板
│ ├── scene_contract.py # SceneContract统一 DSL 契约)
│ ├── alert_rule.py # AlertRule, AlertLog
│ ├── plugin.py # NodePlugin
│ ├── workspace.py # Workspace, WorkspaceMembership
fix: 修复35个安全与功能缺陷,补全知识进化/数字孪生/行为采集模块 ## 安全修复 (12项) - Webhook接口添加全局Token认证,过滤敏感请求头 - 修复JWT Base64 padding公式,防止签名验证绕过 - 数据库密码/飞书Token从源码移除,改为环境变量 - 工作流引擎添加路径遍历防护 (_resolve_safe_path) - eval()添加模板长度上限检查 - 审批API添加认证依赖 - 前端v-html增强XSS转义,console.log仅开发模式输出 - 500错误不再暴露内部异常详情 ## Agent运行时修复 (7项) - 删除_inject_knowledge_context中未定义db变量的finally块 - 工具执行添加try/except保护,异常不崩溃Agent - LLM重试计入budget计数器 - self_review异常时passed=False - max_iterations截断标记success=False - 工具参数JSON解析失败时记录警告日志 - run()开始时重置_llm_invocations计数器 ## 配置与基础设施 - DEBUG默认False,SQL_ECHO独立配置项 - init_db()补全13个缺失模型导入 - 新增WEBHOOK_AUTH_TOKEN/SQL_ECHO配置项 - 新增.env.example模板文件 ## 前端修复 (12项) - 登录改用URLSearchParams替代FormData - 401拦截器通过Pinia store统一清理状态 - SSE流超时从60s延长至300s - final/error事件时清除streamTimeout - localStorage聊天记录添加24h TTL - safeParseArgCount替代模板中裸JSON.parse - fetchUser 401时同时清除user对象 ## 新增模块 - 知识进化: knowledge_extractor/retriever/tasks - 数字孪生: shadow_executor/comparison模型 - 行为采集: behavior_middleware/collector/fingerprint_engine - 代码审查: code_review_agent/document_review_agent - 反馈学习: feedback_learner - 瓶颈检测/优化引擎/成本估算/需求估算 - 速率限制器 (rate_limiter) - Alembic迁移 015-020 ## 文档 - 商业化落地计划 - 8篇docs文档 (架构/API/部署/开发/贡献等) - Docker Compose生产配置 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-05-10 19:50:20 +08:00
│ └── ...
├── services/ # 业务逻辑层
│ ├── scene_templates.py # 11 个场景模板注册 + prompt 生成
│ ├── scene_contract_service.py # DSL 契约服务prompt/验收/验证)
│ ├── workflow_validator.py # 工作流 DAG 验证
│ ├── permission_service.py # 权限检查
│ └── ...
├── tests/ # 测试用例148+ tests
└── alembic/ # 数据库迁移版本
fix: 修复35个安全与功能缺陷,补全知识进化/数字孪生/行为采集模块 ## 安全修复 (12项) - Webhook接口添加全局Token认证,过滤敏感请求头 - 修复JWT Base64 padding公式,防止签名验证绕过 - 数据库密码/飞书Token从源码移除,改为环境变量 - 工作流引擎添加路径遍历防护 (_resolve_safe_path) - eval()添加模板长度上限检查 - 审批API添加认证依赖 - 前端v-html增强XSS转义,console.log仅开发模式输出 - 500错误不再暴露内部异常详情 ## Agent运行时修复 (7项) - 删除_inject_knowledge_context中未定义db变量的finally块 - 工具执行添加try/except保护,异常不崩溃Agent - LLM重试计入budget计数器 - self_review异常时passed=False - max_iterations截断标记success=False - 工具参数JSON解析失败时记录警告日志 - run()开始时重置_llm_invocations计数器 ## 配置与基础设施 - DEBUG默认False,SQL_ECHO独立配置项 - init_db()补全13个缺失模型导入 - 新增WEBHOOK_AUTH_TOKEN/SQL_ECHO配置项 - 新增.env.example模板文件 ## 前端修复 (12项) - 登录改用URLSearchParams替代FormData - 401拦截器通过Pinia store统一清理状态 - SSE流超时从60s延长至300s - final/error事件时清除streamTimeout - localStorage聊天记录添加24h TTL - safeParseArgCount替代模板中裸JSON.parse - fetchUser 401时同时清除user对象 ## 新增模块 - 知识进化: knowledge_extractor/retriever/tasks - 数字孪生: shadow_executor/comparison模型 - 行为采集: behavior_middleware/collector/fingerprint_engine - 代码审查: code_review_agent/document_review_agent - 反馈学习: feedback_learner - 瓶颈检测/优化引擎/成本估算/需求估算 - 速率限制器 (rate_limiter) - Alembic迁移 015-020 ## 文档 - 商业化落地计划 - 8篇docs文档 (架构/API/部署/开发/贡献等) - Docker Compose生产配置 Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-05-10 19:50:20 +08:00
```
---
## 🗄️ 数据流向
```
浏览器 (Vue 3)
▼ HTTP/HTTPS
Nginx反向代理端口 8038/8037
├──► 前端静态资源 ──── 返回 HTML/CSS/JS
└──► 后端 API (FastAPI, 端口 8037)
├──► Redis缓存 / 会话)
├──► MySQL持久化数据
└──► Celery Worker异步任务如文件处理
```
---
## 🔗 依赖关系
```mermaid
flowchart TD
subgraph 前端
Vue[Vue 3 + Pinia]
Router[Vue Router]
Axios[Axios HTTP]
end
subgraph 后端
FastAPI[FastAPI]
SA[SQLAlchemy]
Celery[Celery]
Redis[Redis]
end
subgraph 数据
MySQL[(MySQL)]
end
Vue --> Axios
Axios --> FastAPI
FastAPI --> SA --> MySQL
FastAPI --> Redis
Celery --> Redis
Celery --> MySQL
```
---
> 💡 **提示**:实际目录结构以最新代码为准,本文档仅供参考。