diff --git a/README.md b/README.md index 47bf7678..9fa1dea1 100644 --- a/README.md +++ b/README.md @@ -1,147 +1,287 @@ -# FrameForge +
-> **AI 驱动的视频创作工作室** — 将小说、剧本或提示词转化为专业级视频内容 -> -> 包名 `frame-forge` · Tauri 2.1 桌面端 · React 18 + TypeScript 5 · v2.2.0 +FrameForge -FrameForge 让创作者用 AI 把故事变成视频：从剧本/分镜/角色设计到 TTS 配音、批量渲染、合成导出，全流程一站式完成。Rust 后端负责 FFmpeg 视频处理与系统集成，前端聚焦 UI 与交互。 +
-
+# FrameForge · AI 驱动的视频创作工作室 + +> **输入一个故事，AI 把剧本/分镜/角色/TTS/渲染一站式做完——你只管"开始"。** -**MIT License · React 18 + Tauri 2.1 + TypeScript 5** +[![CI](https://img.shields.io/github/actions/workflow/status/Agions/frame-fab/ci.yml?style=for-the-badge&label=CI)](https://github.com/Agions/frame-fab/actions) +[![License](https://img.shields.io/github/license/Agions/frame-fab?style=for-the-badge&color=45B8AC)](https://opensource.org/licenses/MIT) +[![React](https://img.shields.io/badge/React-18-61DAFB?style=for-the-badge&logo=react)](https://react.dev) +[![Tauri](https://img.shields.io/badge/Tauri-2.1-FFC131?style=for-the-badge&logo=tauri)](https://tauri.app) +[![TypeScript](https://img.shields.io/badge/TypeScript-5.0-3178C6?style=for-the-badge&logo=typescript)](https://www.typescriptlang.org) +[![Version](https://img.shields.io/badge/version-v2.2.0-FF8A5B?style=for-the-badge)](https://github.com/Agions/frame-fab/releases) -[![CI](https://img.shields.io/github/actions/workflow/status/Agions/frame-forge/ci.yml?style=flat-square&label=CI)](https://github.com/Agions/frame-forge/actions) -[![License](https://img.shields.io/badge/License-MIT-45B8AC?style=flat-square)](https://opensource.org/licenses/MIT) -[![React](https://img.shields.io/badge/React-18-61DAFB?style=flat-square&logo=react)](https://react.dev) -[![TypeScript](https://img.shields.io/badge/TypeScript-5.0-3178C6?style=flat-square&logo=typescript)](https://www.typescriptlang.org) +[**在线文档**](https://agions.github.io/frame-fab/) · [**下载桌面端**](https://github.com/Agions/frame-fab/releases) · [**报告问题**](https://github.com/Agions/frame-fab/issues/new) · [**功能建议**](https://github.com/Agions/frame-fab/discussions)
--- -## 七步工作流 +## 它是什么？ -``` -📥 导入 ──▶ 🧠 AI分析 ──▶ 📝 脚本生成 ──▶ 🎬 分镜设计 - │ - ┌──────────────────────────┤ - │ │ - ▼ ▼ - 🖼️ 批量渲染 ◀── 🎭 角色设计 - │ - ▼ - 🎞️ 合成导出 -``` +FrameForge 是一款**桌面端 AI 视频创作工作台**，基于 Tauri 2.1 + Rust 构建，集成多模型 AI（GLM-5 / M2.5 / Kimi / Seedream / Kling / Vidu / Edge TTS）实现从小说/剧本到成片的**端到端自动化**。提供 Manual 模式（逐步审批）和 Autonomous 模式（一键启动）两种工作流，配备 10 步 Pipeline 引擎、Self-Review Loop 自动修复、Quality Gate 质量门禁、Checkpoint 断点续传，让创作者专注于故事本身。 -| 步骤 | 功能 | 说明 | -| :---------: | ---------------- | --------------------------------- | -| 📥 导入 | 小说/剧本/提示词 | 自动编码检测，智能章节切分 | -| 🧠 AI 分析 | 多模型并行 | GLM-5、M2.5、Kimi K2.5 等 | -| 📝 脚本生成 | 结构化视频脚本 | 分镜、对话、场景描述 | -| 🎬 分镜设计 | 自动分镜图 | 镜头角度、构图参考 | -| 🎭 角色设计 | AI 角色一致性 | 种子机制，批量零走样 | -| 🖼️ 批量渲染 | 多模型并行 | Seedream 5.0、Kling 1.6、Vidu 2.0 | -| 🎞️ 合成导出 | MP4/WebM/MOV | TTS 唇形同步，字幕嵌入 | +--- + +## 核心能力 + + + + + + + + + + + + +
+

🎬 双模式工作流

+

Manual Mode：七步半自动（导入→分析→脚本→分镜→角色→渲染→导出），逐步审批
Autonomous Mode：10 步全自主 + Self-Review Loop + Quality Gate

+ 		+

🧠 多模型 AI 编排

+

Strategy 模式 ProviderRegistry 支持 6+ 文字模型、4+ 图像模型、3+ TTS，含完整 Fallback Chain 和 Retry 机制

+ 		+

🎙️ 一站式音视频

+

Edge TTS 配音、唇形同步、字幕嵌入、FFmpeg 合成导出；支持 MP4/WebM/MOV 多格式输出

+

🦀 Rust 高性能后端

+

Tauri 2.1 + FFmpeg 子进程，零桥接开销；包体积 30MB，冷启动 <1s

🔄 断点续传 + 修复

+

PipelineEngine 30s 自动 Checkpoint，自审循环自动修复不合格输出，质量门禁不通过可降级

🏗️ 桌面优先架构

+

全局快捷键、系统托盘、原生菜单、文件 I/O；macOS/Windows/Linux 三端一致体验

--- ## 快速开始 +### 下载桌面端 + +| 平台 | 架构 | 下载 | +|------|------|------| +| macOS | Apple Silicon (M1/M2/M3/M4) | [FrameForge_x.x.x_aarch64.dmg](https://github.com/Agions/frame-fab/releases/latest) | +| macOS | Intel | [FrameForge_x.x.x_x64.dmg](https://github.com/Agions/frame-fab/releases/latest) | +| Windows | x64 | [FrameForge_x.x.x_x64-setup.exe](https://github.com/Agions/frame-fab/releases/latest) | +| Linux | AppImage | [FrameForge_x.x.x_amd64.AppImage](https://github.com/Agions/frame-fab/releases/latest) | + +> 没有找到合适的桌面端？试试从源码运行（开发模式） ↓ + +### 从源码运行（开发模式） + ```bash -git clone https://github.com/Agions/frame-forge.git -cd frame-forge +git clone https://github.com/Agions/frame-fab.git +cd frame-fab pnpm install -pnpm dev +pnpm tauri dev ``` 配置 `.env.local`： ```bash # 文字生成（至少配置一个） -VITE_ALIBABA_API_KEY=your_key_here +VITE_ALIBABA_API_KEY=your_key_here # 阿里 Qwen +VITE_ZHIPU_API_KEY=your_key_here # 智谱 GLM +VITE_MINIMAX_API_KEY=your_key_here # MiniMax M2.5 # 图像生成（可选） -VITE_SEEDDREAM_API_KEY=your_key_here +VITE_SEEDDREAM_API_KEY=your_key_here # 字节 Seedream 5.0 +VITE_KLING_API_KEY=your_key_here # 快手 Kling ``` -访问 `http://localhost:1420` +访问 `http://localhost:1420` 即可看到开发版 UI。 + +--- + +## 架构 + +``` +┌──────────────────────────────────────────────────────────────┐ +│ Frontend (Web UI — React 18 + TypeScript 5 + Vite) │ +│ ┌─────────────┐ ┌──────────────┐ ┌───────────────────┐ │ +│ │ 14 features │ │ 5 global │ │ shadcn/ui (Radix │ │ +│ │ (DDD 风格) │ │ Zustand │ │ + Tailwind CSS) │ │ +│ └─────────────┘ └──────────────┘ └───────────────────┘ │ +└──────────────────────┬───────────────────────────────────────┘ + │ tauri::invoke() IPC +┌──────────────────────┴───────────────────────────────────────┐ +│ Desktop Container (Tauri 2.1 — Rust) │ +│ ┌─────────── commands/ ──────────┐ ┌────── services/ ───┐ │ +│ │ video · app · file · shortcuts │ │ ffmpeg · video · │ │ +│ │ 21 Tauri Commands 按域路由 │ │ config │ │ +│ └────────────────────────────────┘ └────────────────────┘ │ +│ ┌────────────── 10 步 Pipeline ──────────────────────────┐ │ +│ │ import → analysis → script → character → scene → │ │ +│ │ storyboard → render → video-editing → audio → export │ │ +│ └────────────────────────────────────────────────────────┘ │ +│ ┌────── Autonomous Layer ───────────────────────────────┐ │ +│ │ AutoPipelineEngine · QualityGate · SelfReviewLoop · │ │ +│ │ Checkpoint (30s auto-save) │ │ +│ └────────────────────────────────────────────────────────┘ │ +└──────────────────────────────────────────────────────────────┘ + │ + ▼ +┌──────────────────────────────────────────────────────────────┐ +│ External AI Providers (via HTTPS) │ +│ 智谱 GLM-5 · MiniMax M2.5 · 月之暗面 Kimi · 字节 Seedream 5.0│ +│ 快手 Kling · 生数 Vidu · 阿里 CosyVoice · 微软 Edge TTS │ +└──────────────────────────────────────────────────────────────┘ +``` + +详细架构决策见 [`docs/adr/`](./docs/adr/) (Tauri 桌面优先 + Monorepo DDD 分层)。 + +--- + +## 项目结构 + +``` +frame-fab/ +├── src/ # 前端 UI 层（React + Tauri API 包装） +│ ├── features/ # 14 个 Feature 模块（DDD 风格） +│ ├── shared/ # 跨域共享（components/hooks/stores/utils） +│ ├── core/ # 核心服务（pipeline + services） +│ └── pages/ # 路由级页面 +├── packages/ # Monorepo 子包 +│ ├── core/ # 领域核心（pipeline/autonomous/types） +│ └── common/ # 基础类型/工具（无副作用） +├── src-tauri/ # Tauri 桌面端（Rust 第一公民） +│ ├── src/commands/ # 21 个 Tauri Commands（按域路由） +│ ├── src/services/ # FFmpeg/视频/配置业务逻辑 +│ ├── src/utils/ # 路径验证/ID 生成/FFPS 解析 +│ └── src/constants/ # 允许目录白名单 +├── docs/ # VitePress 文档站 +│ ├── adr/ # 架构决策记录 +│ ├── api/ # API 参考 +│ ├── performance/ # 性能基准报告 +│ ├── developer-guide/ # 架构/项目结构/服务 +│ ├── getting-started/ # 5 分钟启动/配置 +│ └── user-guide/ # 工作流说明 +├── assets/ # 品牌资源（logo 系统） +├── public/ # Vite 静态资源 +└── scripts/ # 构建脚本 +``` --- ## 技术栈 -| 类别 | 技术 | -| :------: | ----------------------------------- | -| 前端框架 | React 18 · TypeScript 5 · Vite 5 | -| UI 组件 | shadcn/ui (Radix UI + Tailwind CSS) | -| 状态管理 | Zustand | -| 桌面端 | Tauri 2.0 (Rust) | -| 动画 | Framer Motion | -| 测试 | Jest · React Testing Library | +| 类别 | 技术 | +|------|------| +| 前端框架 | React 18 · TypeScript 5 · Vite 5 | +| UI 组件 | shadcn/ui (Radix UI + Tailwind CSS) | +| 状态管理 | Zustand（5 个全局 Store + feature 级 Store）| +| 桌面端 | Tauri 2.1 (Rust) | +| 动画 | Framer Motion | +| 国际化 | i18next | +| 测试 | Jest · React Testing Library · 90 suites / 1596 pass | +| CI/CD | GitHub Actions（lint + typecheck + test + e2e + build + docs deploy）| --- ## 支持的 AI 模型 -**文字生成**：GLM-5（智谱）· M2.5（MiniMax）· Kimi K2.5（月之暗面）· Doubao 2.0（字节）· Qwen 2.5（阿里）· ERNIE 4.0（百度） +| 模态 | 模型 | +|------|------| +| **文字生成** | GLM-5（智谱）· M2.5（MiniMax）· Kimi K2.5（月之暗面）· Doubao 2.0（字节）· Qwen 2.5（阿里）· ERNIE 4.0（百度）| +| **图像生成** | Seedream 5.0（字节，推荐）· Kling 1.6（快手）· Vidu 2.0（生数）| +| **视频生成** | Seedance 2.0（字节）· 配合 Image-to-Video 工作流 | +| **语音合成** | Edge TTS（免费）· CosyVoice 2.0（阿里）· KAN-TTS（阿里）| -**图像生成**：Seedream 5.0（字节，推荐）· Kling 1.6（快手）· Vidu 2.0（生数） +--- -**语音合成**：Edge TTS（免费）· CosyVoice 2.0（阿里）· KAN-TTS（阿里） +## 开发命令 + +```bash +# 前端 +pnpm dev # Vite dev server (port 1420) +pnpm build # 生产构建 +pnpm build:check # tsc --noEmit (类型检查) +pnpm test # Jest 全部测试 +pnpm test:watch # 监听模式 +pnpm lint # ESLint +pnpm lint:fix # ESLint 自动修复 + +# Tauri 桌面端 +pnpm tauri dev # 桌面端热重载开发 +pnpm tauri build # 生产桌面端构建（生成 .dmg/.exe/.AppImage） + +# 文档 +pnpm docs:vp:dev # VitePress 文档站开发 +pnpm docs:vp:build # 构建文档站静态资源 +``` --- -## 项目结构 +## 文档导航 + +| 分类 | 文档 | 说明 | +|------|------|------| +| 上手 | [快速开始](./docs/getting-started/quick-start.md) | 5 分钟启动 | +| 上手 | [安装](./docs/getting-started/installation.md) | 桌面端/源码安装 | +| 上手 | [配置](./docs/getting-started/configuration.md) | AI API Key 配置 | +| 开发 | [架构](./docs/developer-guide/architecture.md) | 系统架构设计 | +| 开发 | [项目结构](./docs/developer-guide/project-structure.md) | 目录说明 | +| 开发 | [Pipeline API](./docs/developer-guide/pipeline-api.md) | 10 步 Pipeline 引擎 | +| 开发 | [Autonomous API](./docs/developer-guide/autonomous-api.md) | AutoPipelineEngine / QualityGate / SelfReviewLoop | +| API | [服务参考](./docs/api/) | AI/图像/视频/TTS/字幕/流水线服务 | +| 决策 | [ADR 0001: Tauri 桌面优先](./docs/adr/0001-tauri-desktop-architecture.md) | 架构决策记录 | +| 决策 | [ADR 0002: Monorepo DDD 分层](./docs/adr/0002-frontend-monorepo-ddd.md) | 架构决策记录 | +| 性能 | [v2.2.0 性能基准](./docs/performance/benchmark-v2.2.0.md) | bundle/流水线/UI LCP | -``` -frame-forge/ -├── src/ -│ ├── components/ui/ # shadcn/ui 扁平组件（button.tsx, card.tsx 等） -│ ├── features/ # 功能模块（DDD 风格） -│ │ ├── ai/ # AI 模型选择 -│ │ ├── audio/ # 音频编辑 -│ │ ├── character/ # 角色设计 -│ │ ├── cost/ # 成本追踪 -│ │ ├── editor/ # 可视化编辑器（Timeline） -│ │ ├── export/ # 导出功能 -│ │ ├── home/ # 首页 -│ │ ├── manga-pipeline/ # 漫画流水线 -│ │ ├── notification/ # 通知系统 -│ │ ├── project/ # 项目管理 -│ │ ├── script/ # 脚本生成 -│ │ ├── storyboard/ # 分镜编辑 -│ │ ├── subtitle/ # 字幕编辑 -│ │ ├── video/ # 视频播放/导出 -│ │ └── video-export/ # 视频导出 -│ ├── shared/ # 共享基础设施 -│ │ ├── components/ui/ # 可复用 UI 组件 -│ │ ├── hooks/ # 可复用 Hooks -│ │ ├── services/ # 存储、API 客户端 -│ │ ├── stores/ # Zustand 状态存储 -│ │ ├── types/ # 共享类型 -│ │ └── utils/ # 工具函数 -│ ├── core/ # 核心服务 -│ │ ├── pipeline/ # 流水线引擎 -│ │ └── services/ # 30+ AI/视频服务 -│ └── pages/ # 路由级页面 -├── src-tauri/ # Tauri 桌面端（Rust） -├── docs/ # VitePress 文档 -└── scripts/ # 构建脚本 +--- + +## 路线图 + +- [x] **v2.0**：基础七步工作流（Manual 模式） +- [x] **v2.1**：8-Phase 架构重构 + Rust 模块化 + 服务重组 + 5 个 Store 收敛 +- [x] **v2.2**：仓库改名 frame-fab · 描述中文化 · 自主流水线正式化 · ADR 决策记录 · 性能基准 +- [ ] **v2.3**：manga-pipeline 测试提速（11s → 4s）· E2E 性能测试 · SWC 替换 ts-jest · 集成测试覆盖 AutoPipelineEngine +- [ ] **v2.4**：协同编辑（CRDT/Y.js）· 角色一致性 v2（基于 IP-Adapter）· 模板市场 +- [ ] **v3.0**：多模态融合（视频+音乐+音效 AI 生成）· 跨设备同步 · 移动端预览 + +--- + +## 贡献 + +欢迎 PR 和 Issue！开发流程： + +1. Fork 仓库 +2. 创建特性分支：`git checkout -b feat/your-feature` +3. 提交代码：`git commit -m "feat(scope): description"` +4. 推送分支：`git push origin feat/your-feature` +5. 创建 PR，CI 全绿后合并 + +### Conventional Commits + +```bash +feat: 新功能 +fix: Bug 修复 +docs: 文档变更 +style: 代码格式化（无逻辑变更） +refactor: 重构 +perf: 性能改进 +test: 测试 +chore: 构建/工具链变更 ``` +完整开发规范见 [`CONTRIBUTING.md`](./CONTRIBUTING.md)。 + --- -## 文档 +## 致谢 -| 文档 | 说明 | -| ------------------------------------------------------- | --------------- | -| [快速开始](./docs/getting-started/quick-start.md) | 5 分钟启动 | -| [配置](./docs/getting-started/configuration.md) | AI API Key 配置 | -| [架构](./docs/developer-guide/architecture.md) | 技术架构 | -| [项目结构](./docs/developer-guide/project-structure.md) | 目录说明 | +- [Tauri](https://tauri.app) — Rust 桌面容器 +- [shadcn/ui](https://ui.shadcn.com) — 组件设计系统 +- [Zustand](https://github.com/pmndrs/zustand) — 状态管理 +- [FFmpeg](https://ffmpeg.org) — 视频处理 +- 智谱 / MiniMax / 月之暗面 / 字节 / 阿里 / 百度 — AI 模型支持 --- -如果你觉得 frame-forge 有帮助，请给我们一个 ⭐ +## 许可证 + +MIT License · © 2024-2026 [Agions](https://github.com/Agions) -MIT License · © 2026 Agions +如果你觉得 FrameForge 有帮助，请给我们一个 ⭐ diff --git a/assets/.gitkeep b/assets/.gitkeep new file mode 100644 index 00000000..e69de29b diff --git a/assets/logo-horizontal.svg b/assets/logo-horizontal.svg new file mode 100644 index 00000000..9a333bc5 --- /dev/null +++ b/assets/logo-horizontal.svg @@ -0,0 +1,59 @@ + + FrameForge + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + FrameForge + AI · VIDEO · FORGE + + + + + diff --git a/assets/logo.svg b/assets/logo.svg new file mode 100644 index 00000000..e2a74530 --- /dev/null +++ b/assets/logo.svg @@ -0,0 +1,75 @@ + + FrameForge + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + FORGE + diff --git a/docs/.vitepress/config.mjs b/docs/.vitepress/config.mjs index 58c8854c..8c880634 100644 --- a/docs/.vitepress/config.mjs +++ b/docs/.vitepress/config.mjs @@ -9,18 +9,43 @@ export default defineConfig({ appearance: 'light', // default to light theme; user can toggle to dark cleanUrls: true, ignoreDeadLinks: true, - base: '/frame-forge/', + base: '/frame-fab/', head: [ ['link', { rel: 'icon', type: 'image/svg+xml', href: '/favicon.svg' }], - ['meta', { name: 'theme-color', content: '#ffffff' }], + ['meta', { name: 'theme-color', content: '#0a0e27' }], + // Open Graph + ['meta', { property: 'og:type', content: 'website' }], + ['meta', { property: 'og:title', content: 'FrameForge - AI 驱动的视频创作工作室' }], + [ + 'meta', + { + property: 'og:description', + content: '基于 Tauri 2.1 桌面端 + 多模型 AI 编排的端到端视频创作工作台。', + }, + ], + ['meta', { property: 'og:image', content: '/logo.svg' }], + ['meta', { property: 'og:locale', content: 'zh_CN' }], + // Twitter Card + ['meta', { name: 'twitter:card', content: 'summary_large_image' }], + ['meta', { name: 'twitter:title', content: 'FrameForge - AI 驱动的视频创作工作室' }], + [ + 'meta', + { + name: 'twitter:description', + content: '基于 Tauri 2.1 桌面端 + 多模型 AI 编排的端到端视频创作工作台。', + }, + ], + ['meta', { name: 'twitter:image', content: '/logo.svg' }], ], themeConfig: { siteTitle: 'FrameForge', + logo: { src: '/logo-horizontal.svg', alt: 'FrameForge' }, nav: [ { text: '快速开始', link: '/getting-started/quick-start' }, { text: '用户指南', link: '/user-guide/workflow-overview' }, { text: '开发指南', link: '/developer-guide/architecture' }, { text: 'API', link: '/api/overview' }, + { text: '架构决策', link: '/adr/0001-tauri-desktop-architecture' }, ], sidebar: { '/getting-started/': [ @@ -78,12 +103,30 @@ export default defineConfig({ ], }, ], + '/adr/': [ + { + text: '架构决策记录 (ADR)', + items: [ + { text: '0001 Tauri 桌面优先', link: '/adr/0001-tauri-desktop-architecture' }, + { text: '0002 Monorepo + DDD', link: '/adr/0002-frontend-monorepo-ddd' }, + ], + }, + ], + '/performance/': [ + { + text: '性能基准', + items: [ + { text: 'v2.2.0 基准报告', link: '/performance/benchmark-v2.2.0' }, + ], + }, + ], }, socialLinks: [ - { icon: 'github', link: 'https://github.com/Agions/frame-forge' }, + { icon: 'github', link: 'https://github.com/Agions/frame-fab' }, ], footer: { - message: 'MIT License © 2026 Agions', + message: 'MIT License © 2024-2026 Agions · FrameForge', + copyright: '基于 Tauri 2.1 + React 18 + Rust 构建', }, search: { provider: 'local' }, }, diff --git a/docs/index.md b/docs/index.md index 5766e847..d3ca5cb1 100644 --- a/docs/index.md +++ b/docs/index.md @@ -1,108 +1,97 @@ -# FrameForge — 全自动 AI 漫剧制作平台 - -> **输入一本小说，AI 自动把它拍成一部漫剧，你只需要按「开始」。** - --- - -## 🎯 平台简介 - -FrameForge 是一款基于大语言模型的**全自主 Agent 型**漫剧制作系统。用户只需提供原始文本（小说/剧本/需求描述），AI 将自主完成从剧本解析到成片输出的全部环节，真正实现**零参与、自动化**的漫剧生产体验。 - +title: FrameForge - AI 驱动的视频创作工作室 +description: 基于 Tauri 2.1 桌面端 + 多模型 AI 编排的端到端视频创作工作台 +layout: home +hero: + name: "FrameForge" + text: "AI 驱动的视频创作工作室" + tagline: "输入一个故事，AI 把剧本 / 分镜 / 角色 / TTS / 渲染一站式做完——你只管『开始』" + image: + src: /logo.svg + alt: FrameForge + actions: + - theme: brand + text: 快速开始 + link: /getting-started/quick-start + - theme: alt + text: 架构设计 + link: /developer-guide/architecture + - theme: alt + text: GitHub + link: https://github.com/Agions/frame-fab + - theme: alt + text: 下载桌面端 + link: https://github.com/Agions/frame-fab/releases +features: + - title: 🎬 双模式工作流 + details: Manual 模式（七步半自动，逐步审批）+ Autonomous 模式（10 步全自主 + Self-Review Loop + Quality Gate），适配精细化与批量场景 + - title: 🧠 多模型 AI 编排 + details: 智谱 GLM-5 / MiniMax M2.5 / 月之暗面 Kimi K2.5 / 字节 Seedream 5.0 / 快手 Kling 1.6 / Edge TTS，完整 Fallback Chain + - title: 🦀 Rust 高性能后端 + details: Tauri 2.1 桌面端 + FFmpeg 子进程，包体积 30MB 以内，冷启动 < 1s，macOS/Windows/Linux 三端一致 + - title: 🔄 断点续传 + 自审修复 + details: PipelineEngine 30s 自动 Checkpoint，SelfReviewLoop 自动修复不合格输出，质量门禁不通过可降级或回滚 + - title: 🏗️ 桌面优先架构 + details: 全局快捷键、系统托盘、原生菜单、文件 I/O；Rust 是第一公民承担系统级能力，JS/TS 仅做 UI 渲染 + - title: 📦 Monorepo + DDD 分层 + details: src + packages/core + packages/common 三层 Monorepo，领域驱动分层；零循环依赖，0 ts-prune 未使用导出 --- ## ⚖️ Manual Mode vs Autonomous Mode -| 维度 | Manual Mode（手动模式） | Autonomous Mode（全自动模式） | -| -------------- | ----------------------- | ----------------------------- | -| **用户参与度** | 高（逐环节审批、编辑） | **零（仅提供原材料）** | -| **操作方式** | 工具型，需逐步骤操作 | Agent型，一键启动 | -| **适合场景** | 精细化调整、定制化创作 | 快速成片、批量生产 | -| **时间成本** | 较长 | **极短** | -| **AI 自审** | 无 | **每步自审 + 自动修复** | -| **断点续传** | 不支持 | 支持 | - ---- - -## 🚀 核心功能 - -- 🎬 **全自动流水线** — 11 步自主执行，无需人工干预 -- 🧠 **Self-Review Loop** — 每步 AI 自审，不合格自动修复（最多 3 次循环） -- ✅ **Quality Gate** — 全自动质量门禁，确保输出品质 -- 👥 **角色一致性** — AI 自动保证角色外观统一 -- 🎞️ **智能分镜** — 自动生成分镜脚本与参考图 -- 🔊 **配音 + 唇形同步** — 自动生成语音并对齐口型 -- 💾 **断点续传** — 中途刷新可继续，任务可暂停/恢复 -- 🔄 **降级策略** — 主模型不可用时自动切换备选模型 - ---- +| 维度 | Manual Mode | Autonomous Mode | +|------|-------------|-----------------| +| 用户参与度 | 高（逐步审批） | 零（仅提供原材料） | +| 操作方式 | 工具型，逐步操作 | Agent 型，一键启动 | +| 适合场景 | 精细化调整、定制化 | 快速成片、批量生产 | +| 时间成本 | 较长 | 极短 | +| AI 自审 | 无 | 每步自审 + 自动修复 | +| 断点续传 | 不支持 | 支持（30s Checkpoint） | +| 质量门禁 | 可选 | 强制 | -## 🔄 七大步骤工作流 +## 🔄 七步工作流（Manual Mode） ``` -┌─────────────────────────────────────────────────────────────────┐ -│ FrameForge 工作流 │ -└─────────────────────────────────────────────────────────────────┘ +📥 导入 ──▶ 🧠 AI 分析 ──▶ 📝 脚本生成 ──▶ 🎬 分镜设计 + │ + ▼ + 🖼️ 批量渲染 ◀── 🎭 角色设计 + │ + ▼ + 🎞️ 合成导出 +``` - 📥 输入 📤 输出 - │ ▲ - ▼ │ -┌─────────┐ ┌───────────┐ ┌──────────────┐ ┌──────────┐ -│ 导入 │───▶│ 故事分析 │───▶│ 脚本生成 │───▶│ 角色设计 │ -└─────────┘ └───────────┘ └──────────────┘ └──────────┘ - │ - ▼ -┌─────────┐ ┌───────────┐ ┌──────────────┐ ┌──────────┐ -│ 导出 │◀───│ 字幕嵌入 │◀───│ 音频合成 │◀───│ 分镜生成 │ -└─────────┘ └───────────┘ └──────────────┘ └──────────┘ - ▲ - │ - 🎉 成片 +## 🚀 10 步自主流水线（Autonomous Mode） -详细流程： -1️⃣ [Auto] ImportStep ─ 解析原材料（小说/剧本） -2️⃣ [Auto] AnalysisStep ─ AI 分析故事结构、人物、场景 -3️⃣ [Auto] ScriptStep ─ 生成结构化视频剧本 -4️⃣ [Auto] CharacterStep ─ 创建角色设定卡，保证一致性 -5️⃣ [Auto] StoryboardStep ─ 生成分镜脚本 + 参考图 -6️⃣ [Auto] RenderStep ─ 批量渲染关键帧 -7️⃣ [Auto] CompositionStep ─ 合成视频片段 + 配音 + 字幕 +``` +step-import → step-analysis → step-script → step-character → step-scene + │ + ▼ + step-render ← step-storyboard ←────── step-video-editing + │ + ▼ + step-composition (final export) ``` ---- +每步配备 **Self-Review Loop** + **Quality Gate** + **Checkpoint 自动保存**。 ## 🤖 支持的 AI 模型 -| 步骤 | 推荐模型（按优先级） | 备选模型 | -| ------------ | ------------------------ | --------------------------------------- | -| **剧本解析** | GLM-5 / M2.5 / Kimi K2.5 | - | -| **故事分析** | Doubao 2.0 / ERNIE 4.0 | - | -| **脚本生成** | GLM-5 / M2.5 | - | -| **角色设定** | Seedream 5.0 | - | -| **分镜生成** | Seedream 5.0 / Kling 1.6 | - | -| **图像渲染** | Seedream 5.0 ✅ | Kling 1.6 / Vidu 2.0 / Stable Diffusion | -| **视频合成** | FFmpeg WASM + 关键帧 | - | -| **配音** | Edge TTS（免费）✅ | CosyVoice 2.0 / 百度 TTS | -| **唇形同步** | Wav2Lip API | 第三方服务 | -| **字幕** | 内置 OCR + 时间轴对齐 | - | - -### 降级链路 - -``` -Seedream 5.0 → Kling 1.6 → Vidu 2.0 → Stable Diffusion API -Edge TTS → CosyVoice 2.0 → 百度 TTS -``` - ---- +| 模态 | 模型 | +|------|------| +| 文字生成 | GLM-5（智谱）· M2.5（MiniMax）· Kimi K2.5（月之暗面）· Doubao 2.0（字节）· Qwen 2.5（阿里）· ERNIE 4.0（百度）| +| 图像生成 | Seedream 5.0（字节，推荐）· Kling 1.6（快手）· Vidu 2.0（生数）| +| 视频生成 | Seedance 2.0（字节）· Image-to-Video 工作流 | +| 语音合成 | Edge TTS（免费）· CosyVoice 2.0（阿里）· KAN-TTS（阿里）| ## 📖 文档导航 -| 文档 | 说明 | -| -------------------------------- | -------------------------- | -| [快速开始](./getting-started/) | 3 步启动你的第一个漫剧项目 | -| [用户指南](./user-guide/) | 详细功能介绍与使用教程 | -| [开发者指南](./developer-guide/) | 架构设计与 API 文档 | -| [部署文档](./deployment/) | 生产环境部署指南 | +- [快速开始](./getting-started/quick-start) — 5 分钟启动 +- [用户指南](./user-guide/) — 详细功能介绍 +- [开发者指南](./developer-guide/) — 架构设计与 API 文档 +- [架构决策记录](./adr/) — ADR 决策记录 +- [性能基准](./performance/) — 性能基准报告 --- -> **© 2026 FrameForge — 让创作更简单，让创意更自由** +> **© 2024-2026 FrameForge · MIT License · 让创作更简单，让创意更自由** diff --git a/docs/public/.gitkeep b/docs/public/.gitkeep new file mode 100644 index 00000000..e69de29b diff --git a/docs/public/favicon.svg b/docs/public/favicon.svg new file mode 100644 index 00000000..40c84b3d --- /dev/null +++ b/docs/public/favicon.svg @@ -0,0 +1,32 @@ + + FrameForge + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/docs/public/logo-horizontal.svg b/docs/public/logo-horizontal.svg new file mode 100644 index 00000000..9a333bc5 --- /dev/null +++ b/docs/public/logo-horizontal.svg @@ -0,0 +1,59 @@ + + FrameForge + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + FrameForge + AI · VIDEO · FORGE + + + + + diff --git a/docs/public/logo.svg b/docs/public/logo.svg new file mode 100644 index 00000000..e2a74530 --- /dev/null +++ b/docs/public/logo.svg @@ -0,0 +1,75 @@ + + FrameForge + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + FORGE + diff --git a/index.html b/index.html index 1dadf0f7..3477e58c 100644 --- a/index.html +++ b/index.html @@ -2,13 +2,45 @@ - + + - FrameForge - AI驱动的高效视频脚本创作平台 - + + + + + + + + + + + + + + + + + + + + + FrameForge - AI 驱动的视频创作工作室
- \ No newline at end of file + diff --git a/public/favicon.svg b/public/favicon.svg index 03c63322..40c84b3d 100644 --- a/public/favicon.svg +++ b/public/favicon.svg @@ -1,5 +1,32 @@ - - - - - \ No newline at end of file + + FrameForge + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + diff --git a/public/logo-horizontal.svg b/public/logo-horizontal.svg new file mode 100644 index 00000000..9a333bc5 --- /dev/null +++ b/public/logo-horizontal.svg @@ -0,0 +1,59 @@ + + FrameForge + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + FrameForge + AI · VIDEO · FORGE + + + + + diff --git a/public/logo.svg b/public/logo.svg index 6ffbe3da..e2a74530 100644 --- a/public/logo.svg +++ b/public/logo.svg @@ -1,36 +1,75 @@ - + + FrameForge - - - + + + + + - - - + + + + + + + + + + + + + + + + + + - - - - - - - - - - - - - - - - - - - - - - - - + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + FORGE