达摩院发布一站式AI视频创作平台"寻光"，打造全新AI工作流

WBOY

发布时间：2024-07-09 08:31:45

1068人浏览过

来源于机器之心

转载

今年是 AI 视频生成爆发的元年，以 Sora 为代表的算法模型和产品应用不断涌现。短短几个月内，我们目睹了几十种视频生成工具的问世，基于 AI 的视频创作方式开始流行起来。

但新技术也引发更多的挑战与质疑，除了大家熟知的 “开盲盒” 现象，AI 所生成的视频内容也因可控性差、处理工作流繁琐而频频被诟病。

OpenAI 曾经邀请专业视频制作团队对 Sora 进行了测试，其中来自于多伦多的 Shy Kids 团队，利用 Sora 制作了一个气球人主题的短片，把创意和 AI 技术进行了完美的结合，让人印象深刻。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

$达摩院发布一站式ai视频创作平台\$

整个短片其实并不是 Sora 直接输出的结果，而是由多个视频片段组成，且 Sora 在生成不同视频时，很难保证主角的一致性。因此，在引入了大量的人工后期编辑，他们才呈现出最终的短片效果。Shy Kids 的主创们总结，“Sora 的技术很酷，但是它的生成过程很难控制。”

对生成内容的精准可控，是 AI 视频创作中的重要需求，也是今天算法面临的一大挑战。

$达摩院发布一站式AI视频创作平台\$

为此，在刚结束的上海世界人工智能大会（WAIC）上，达摩院发布了一站式 AI 视频创作平台 “寻光”。

其定位为 PUGC 一站式 AI 视频创作平台，可辅助用户创作剧本、分镜图等，并通过工作流整合提升创作全流程的效率，支持对生成及上传素材进行丰富的 AI 编辑，提供人物控制、场景控制、风格迁移、运镜控制、目标新增 / 消除 / 修改等十多种 AI 编辑功能，让视频中的元素和对象精准可控。

达摩院希望借由寻光平台进一步提升 AI 视频创作的效率，目标是用 AI 能力重塑传统视频制作的整个流程，打造 AI 时代的全新视频工作流。

业界首次落地

基于图层的视频编辑

在寻光研发的初期，达摩院还与影视传媒从业者及创作者进行了广泛且密集调研，了解其对于视频 AIGC 创作的需求与痛点。他们发现，视频图层几乎是所有视频创作者们提到频次最高、最迫切的需求。

基于此，寻光平台首次在行业推出系统性的视频图层编辑功能。用户通过文本输入，即可生成符合文本描述且具有透明背景的视频，并且一键将其融合到其他背景视频当中。在传统视频生成能力的基础上，用图层这样一种更灵活的形式来产生内容。

$达摩院发布一站式AI视频创作平台\$

寻光更提供图层拆解功能，轻轻一圈，选定目标立刻拆解为单独的图层视频，再丝滑嵌入不同的背景视频。

$达摩院发布一站式AI视频创作平台\$

用户可以将不同的前景图层跟不同的背景进行图层融合，组合出更多新的视频。图层融合的能力进一步激发 AI 创作力和想象力，同时能够保持多个分镜头之间的场景和人物的一致性。

$达摩院发布一站式AI视频创作平台\$

在达摩院看来，AI 不会取代创作者的工作，而是会优化视频创作的工作流，成为创意驱动的新引擎。

一站式 AI 创作平台

更简洁的交互，更丰富的编辑能力

剧本创作、分镜设计、素材编辑…… 传统的视频创作步骤分工明晰、周期冗长。在 AI 技术的加持下，原本分散在不同制作流程中的创作步骤，如今都可以在寻光平台上流畅完成。

“我们希望让视频编辑像操作 ppt 一样简洁直观，容易上手。” 达摩院视觉技术实验室高级算法专家陈威华在现场介绍，寻光平台的一大亮点在交互方面。

寻光平台在设计时便充分考虑到 AI 视频创作的特点，将每个视频项目抽象为多个分镜头画面，用户可根据剧本自动生成一组分镜头，也可以自己上传原始视频素材，由算法切分成多个分镜头。

在创作空间里，用户可以很方便的查看每一个分镜头，一个场景内的多个分镜头可以收起或者展开，场景之间可以通过拖拽来调整顺序，场景内的分镜头也可以进行拖拽。用户也可以在任意位置上进行分镜头的添加和新建，可调用图片生成或者视频生成能力去产生内容，也可以添加自己已有的各种素材。

$达摩院发布一站式AI视频创作平台\$

对于每个分镜头，寻光提供完整且智能的 AI 视频编辑能力进行处理，可依据用户意图，在语义层面而不是像素层面实现编辑。分镜头里的人体、人脸、前景、背景等任意局部目标，都可以进行精细化的编辑和修改。

比如，理解空间景深的运镜控制；

$达摩院发布一站式AI视频创作平台\$

Play.ht

根据文本生成多种逼真的语音

下载

又比如，能够理解物体相对关系的目标消除 / 修改。

$达摩院发布一站式AI视频创作平台\$

在对视频全局元素的编辑上，寻光平台提供了超过 20 种的风格迁移。

$达摩院发布一站式AI视频创作平台\$

寻光也提供帧率控制、视频超分等实用的视频编辑功能。

$达摩院发布一站式AI视频创作平台\$

“我们希望一个视频里的所有元素都是可编辑、可修改的，这样可以给用户的创作提供最大的自由度”，陈威华说。

写在最后

今天，我们正处在 AIGC 的变革浪潮之中，AI 有可能催生出新的视频工作流。无论是专业的影视从业者还是热爱创作的 UGC 用户，都将从中获益。

“工欲善其事，必先利其器”，达摩院希望寻光视频创作平台能够成为每一位创作者的专属视频工作室，实现 AI 与创作者之间更紧密、高效的协作，真正释放 AI 的生产力。

为此，达摩院视觉技术实验室已做了大量技术储备。该实验室致力于多模态视觉信号的理解与生成技术研究，当前的重点研究方向包括更加精准的图像 / 视频 / 3D 内容生成，更加可控的图像 / 视频 / 3D 内容编辑，更加高效的生成框架，多模态的理解 - 生成框架等。

陈威华表示，“寻光”将于近期开放内测，持续迭代，优化交互，欢迎创作者们来定制属于自己的 AI 工作流。

^{内测申请地址：}

^{https://xunguang.damo-vision.com/}

钉钉ai划词工具能否划词复制_钉钉ai划词工具复制功能设置【方法】

AI短视频脚本生成工具有哪些_一键生成带货脚本的AI工具推荐

3步教你用AI生成流程图，轻松梳理复杂业务逻辑

可灵ai怎样生成电商详情页文案_可灵ai详情页文案结构与卖点提炼【实操】

AI视频生成：VideoGen助力高效视频创作与营销

相关专题

页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章，大家可以免费体验。

378

2023.08.14

人工智能在生活中的应用

人工智能在生活中的应用有语音助手、无人驾驶、金融服务、医疗诊断、智能家居、智能推荐、自然语言处理和游戏设计等。本专题为大家提供人工智能相关的文章、下载、课程内容，供大家免费下载体验。

390

2023.08.17

人工智能的基本概念是什么

人工智能的英文缩写为AI，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

282

2024.01.09

人工智能不能取代人类的原因是什么

人工智能不能取代人类的原因包括情感与意识、创造力与想象力、伦理与道德、社会交往与沟通能力、灵活性与适应性、持续学习和自我提升等。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

617

2024.09.10

Python 人工智能

本专题聚焦 Python 在人工智能与机器学习领域的核心应用，系统讲解数据预处理、特征工程、监督与无监督学习、模型训练与评估、超参数调优等关键知识。通过实战案例（如房价预测、图像分类、文本情感分析），帮助学习者全面掌握 Python 机器学习模型的构建与实战能力。

2025.10.21

http与https有哪些区别

http与https的区别：1、协议安全性；2、连接方式；3、证书管理；4、连接状态；5、端口号；6、资源消耗；7、兼容性。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

1511

2024.08.16

aigc查重率多少合格

AIGC 查重率合格标准不统一，因场景而异。学术领域要求严格，多在 10% - 20% 以下；商业写作、新闻报道稍宽松，在 20% - 30% 左右；自媒体要求差异大，个人账号或达 30% - 40%，专业平台则严控在 20% - 30% 。想了解更多相关内容，请阅读专题下面的文章。

561

2025.04.09

苹果官网入口直接访问

苹果官网直接访问入口是https://www.apple.com/cn/，该页面具备0.8秒首屏渲染、HTTP/3与Brotli加速、WebP+AVIF双格式图片、免登录浏览全参数等特性。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

115

2025.12.24

拼豆图纸在线生成器

拼豆图纸生成器有PixelBeads在线版、BeadGen和“豆图快转”；推荐通过pixelbeads.online或搜索“beadgen free online”直达官网，避开需注册的诱导页面。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

2025.12.24

热门下载

网站特效

网站源码

网站素材

前端模板