← 返回重点项目
03

多模态内容创作Agent 可调用的创作能力

把 20+ 前沿生成式模型 API 产品化为 Agent 可调用、用户可继续编辑的创作能力。

角色边界:产品经理|模型能力产品化与交互设计

Image GenerationVideo GenerationStoryboardingAsset ReferenceAgent Tool Use
20+前沿生成式模型 API
4 类核心创作工具
Tool → 画布Agent 创作链路
当前状态
已上线生成模型接入与四类创作工具已验证输入素材与资产引用探索结果上下文自动承接

01|为什么模型能力需要产品化表达

创作者需要从生成、选择、修改到继续创作的稳定路径。不同模型的输入、参数和编辑方式各异,直接暴露 API 会把学习成本留给用户。

我负责交互规划与接口联调,将模型能力转成可控、可编辑并能被 Agent 调用的创作工具。

02|20+ 模型 API 如何变成可用能力

统筹并落地 20+ 前沿生成式模型 API,梳理输入、参数、输出规格、等待时间和调用成本,并制定用户可见的参数、选项和定价规则。

接入覆盖图像、视频、增强、局部编辑和智能分镜,为产品入口与能力边界提供依据。

生成

图像生成

文生图、参考图、角色与场景设定

生成

视频生成

文生视频、图生视频、镜头延展

增强

视频增强

超分、补帧、画质恢复

编辑

局部编辑

涂抹重绘、对象替换、区域控制

编排

叙事编排

智能分镜、镜头规划、资产组合

工作区

资产编排

引用素材、组合结果、继续创作

03|如何按创作动作组织能力

在模型接入和参数产品化基础上,我按生成、增强、编辑、编排和资产引用等创作动作组织能力,同时保留模型约束。

进入 Agent 场景后,工具根据任务目标与素材被调用,界面呈现必要参数、成本、等待状态和结果。

从底层能力到连续创作
多模态创作的三层支撑关系图三层自下而上收窄的横带构成一个地基。最下也最宽的一层是 MODEL,提供图像、视频、增强与编辑模型能力。中间一层是 HARNESS,负责 Agent 任务编排。最上也最窄的一层是 WORKFLOW,即连续创作工作流。两支向上的箭头表示下层支撑上层:能力支撑编排,编排支撑工作流。MODEL图像 / 视频 / 增强 / 编辑模型HARNESSAgent 任务编排WORKFLOW连续创作工作流

模型提供不同输入输出能力,Agent 决定调用什么能力并把资产、约束和结果连成一条任务链,生成结果再进入选择、编辑与资产编排。三者是自下而上的支撑关系,不是三个并列的产品模块。

04|从单次生成到连续创作

创作路径覆盖输入、生成、预览、选择、编辑、资产引用与交付,让结果可定位、复用、修改并继续交给 Agent 处理。

海螺 AI 展示能力产品化,MiniMax Hub Canvas 展示资产如何进入后续创作。

连续创作的六步循环
连续创作六步循环图六个步骤沿一个闭合环路顺时针排列:01 生成候选、02 选择与比较、03 局部编辑、04 资产引用、05 Agent 继续任务、06 交付/再编辑。06 之后的箭头重新指回 01,环路首尾闭合,没有起点也没有终点,表示交付之后仍可继续生成与编辑。01GENERATE生成候选02SELECT选择与比较03EDIT局部编辑04REFERENCE资产引用05CONTINUEAgent 继续任务06DELIVER交付 / 再编辑NO TERMINAL STATE交付之后仍可回到生成与编辑

生成结果进入选择、编辑与资产编排,Agent 带着这些资产继续任务,交付之后仍可回到生成与编辑——这是一个没有终点的循环,不是一次性的下载流程。

证据来源与项目边界

海螺 AI 的截图证明模型接入与创作工具产品化;MiniMax Hub 的 Canvas 截图证明资产如何进入后续创作。两类证据共同解释“连续创作”的产品判断,不代表同一产品交付。

05|工具证据与验证

工具入口与能力矩阵展示了 20+ API 如何进入创作工具;真实素材、交互原型和端到端调用用于核对输入、参数、成本、等待反馈与后续编辑。

视频超分、补帧、重绘涂抹和智能分镜已上线。