ViMax：打破视频生成局限，端到端自主创作，多特性开启视频制作新体验！

当前视频生成的局限性当下视频生成存在着诸多局限。一方面大多数 AI 工具生成的视频片段时长受限仅能生成几秒的片段另一方面角色和场景在各帧之间会不可预测地变化导致一致性混乱。而且现有的视频生成仅关注视觉缺乏脚本、音频、叙事结构和故事深度。ViMax 解决方案ViMax 可集导演、编剧、制片人和视频生成器功能于一体我们正探索一个 AI 成为全能创意动力源的未来。你只需输入概念ViMax 就能自主处理其余工作端到端地完成剧本编写、分镜设计、角色创建和最终视频生成。目录关键特性演示视频架构快速开始关键特性ViMax 具备多种关键特性。它能通过智能多智能体工作流将原始创意转化为完整的视频故事自动完成故事讲述、角色设计和制作拥有智能文学改编引擎可通过智能叙事压缩、角色跟踪和逐场景视觉改编将完整的小说转化为系列视频内容能让你释放创造力编写从个人故事到史诗冒险等任何剧本完全掌控视觉叙事的各个方面还可以让你创建自己的客串视频将你或你的宠物变成明星嘉宾出现在无限的创意剧本、电影序列和交互式故事情节中。视频演示其视频演示包含 f1.mp4、underwater.mp4、otter.mp4、carrier.mp4、vampire.mp4、skydiving.mp4、tree.mp4、cameo_skycastle.mp4、cameo_cat.mp4 等从零生成的视频。端到端视频创作引擎面临的挑战端到端视频创作引擎面临着诸多挑战。获取、整理和对齐能准确捕捉角色、物体、位置和环境的参考帧非常耗时即使提供了正确的角色、位置、环境参考图像和提示图像生成器有时也可能生成无法使用的图像专业高质量的视频需要有丰富的信息密度和结构化设计将故事转化为视觉叙事需要摄影、场景构图和视觉叙事方面的专业知识而大多数创作者缺乏这些能力创建连贯的相机序列要保证角度、转场和节奏合适同时在复杂场景中保持叙事流畅在长内容的数百个镜头中确保角色外观、环境和艺术风格的一致性存在开发延迟问题传统视频创作涉及多个专业人员和冗长的工作流程给独立创作者和快速原型制作带来障碍AI 生成的视频通常只有几秒长要生成高质量的分钟甚至小时级别的长视频需要复杂的跨场景连续性和多分镜设计及处理能力。不过ViMax 通过自动化从叙事输入到最终视频输出的整个视频创作流程消除了这些制作瓶颈。为什么选择 ViMax选择 ViMax 有诸多理由。它无需复杂技术操作你只需描述愿景ViMax 就能处理剧本生成、分镜设计、镜头设计、参考管理和一致性验证它给予完全的创作自由没有创意限制无论是预告片、短篇小说、小说章节还是原创概念ViMax 都能智能构建叙事并设计摄影将任何想法变为现实它能将角色语音和音效与视觉内容无缝集成创造音频和视频完美和谐的沉浸式体验其自动化质量控制确保每帧视频中的角色一致性、恰当的场景构图和专业的视觉标准你还能上传照片在自己的短故事中互动ViMax 会智能地将你作为一个角色融入整个视频保持外观一致和自然互动。即将推出ViMax 即将推出多项功能包括完成 Google AI Studio API 配置、开发模式分支、集成自动客串功能、增加更多演示视频、进行镜头规划以及推出新功能。架构系统概述ViMax 是一个多智能体视频框架能够实现自动多镜头视频生成同时确保角色和场景的一致性。该系统能将你的想法无缝转化为相应的视频让你专注于故事讲述而非技术实现。技术能力ViMax 具备多种技术能力。它有基于 RAG 的长剧本设计引擎能智能分析长篇小说类故事并自动将其分割成多场景剧本格式精心确保所有关键情节发展和角色对话在新结构中准确保留拥有镜头级分镜设计系统可根据用户需求和目标受众通过摄影语言创建富有表现力的分镜为后续视频生成建立叙事节奏能模拟多相机拍摄提供沉浸式观看体验同时保持同一场景内角色定位和背景的一致性会智能选择当前视频第一帧所需的参考图像包括之前时间线中出现的分镜以确保随着视频变长多个角色和环境元素的准确性可根据所选参考图像和之前时间线上的视觉逻辑顺序自动生成图像生成器的提示合理安排角色与环境之间的空间交互位置能并行生成多个图像并通过 MLLM/VLM 选择一致性最佳的图像作为第一帧模仿人类创作者的工作流程还能对从同一相机拍摄的连续镜头进行并行处理实现高效视频制作。多智能体视频生成管道ViMax 的多智能体视频生成管道包含多个部分。输入层包括创意、剧本、小说、自然语言提示、参考图像、风格指令和配置中央调度进行智能体调度、阶段转换、资源管理和重试/回退逻辑处理剧本理解提取角色/环境、确定场景边界和风格意图场景与镜头规划包含分镜步骤、镜头列表、关键帧和节拍视觉资产规划涉及参考图像选择、外观/风格指导、提示调整资产索引包括帧/参考目录、嵌入、检索重用一致性与连续性进行角色/环境跟踪、参考匹配、时间连贯性处理视觉合成与组装包括图像生成、最佳帧选择、首/尾帧转视频、剪辑和时间线组装输出层包括帧、剪辑和最终视频、日志以及工作目录工件。快速开始环境其运行环境的操作系统为 Linux、Windows。克隆与安装我们使用 uv 来管理环境uv 的安装请参考 https://docs.astral.sh/uv/getting-started/installation/。具体操作如下git clone https://github.com/HKUDS/ViMax.git cd ViMax uv sync使用方法main_idea2video.py用于将创意转化为视频。你需要在configs/idea2video.yaml文件中配置模型和 API 密钥信息包括聊天模型、图像生成器和视频生成器三部分示例如下chat_model: init_args: model: google/gemini-2.5-flash-lite-preview-09-2025 model_provider: openai api_key: base_url: https://openrouter.ai/api/v1 image_generator: class_path: tools.ImageGeneratorNanobananaGoogleAPI init_args: api_key: video_generator: class_path: tools.VideoGeneratorVeoGoogleAPI init_args: api_key: working_dir: .working_dir/idea2video然后在main_idea2video.py中提供一个简单而有创意的想法和相应的创作要求例如idea If a cat and a dog are best friends, what would happen when they meet a new cat? user_requirement For children, do not exceed 3 scenes. style Cartoon使用 MiniMax 作为聊天模型提供商MiniMax 模型可以作为替代的聊天模型提供商。MiniMax 提供与 OpenAI 兼容的 API 访问如 MiniMax - M2.71M 上下文窗口和 MiniMax - M2.5204K 上下文。只需在配置中设置model_provider: minimax基本 URL 会自动解析chat_model: init_args: model: MiniMax-M2.7 model_provider: minimax api_key:或者将 API 密钥导出为环境变量让api_key为空export MINIMAX_API_KEY完整示例请参考configs/idea2video_minimax.yaml和configs/script2video_minimax.yaml。模型上下文说明MiniMax - M2.71M 令牌最新且推荐使用。MiniMax - M2.7 - highspeed1M 令牌快速变体。MiniMax - M2.5204K 令牌稳定版本。MiniMax - M2.5 - highspeed204K 令牌快速变体。main_script2video.py根据特定剧本生成视频。你同样需要在configs/script2video.yaml文件中设置 API 配置。然后在main_script2video.py中提供一个场景剧本和相应的创作要求示例如下script EXT. SCHOOL GYM - DAY A group of students are practicing basketball in the gym. The gym is large and open, with a basketball hoop at one end and a large crowd of spectators at the other end. John (18, male, tall, athletic) is the star player, and he is practicing his dribble and shot. Jane (17, female, short, athletic) is the assistant coach, and she is helping John with his practice. The other students are watching the practice and cheering for John. John: (dribbling the ball) Im going to score a basket! Jane: (smiling) Good job, John! John: (shooting the ball) Yes! ... user_requirement Fast-paced with no more than 20 shots. style Animate Style如果这个项目对你有帮助请给我们点个星感谢访问 ViMax