ByteDance

如何使用 OmniHuman 创建 AI 数字人视频

ByteDance 的 OmniHuman 生成 Astorie 上所有 AI 模型中最逼真的数字人视频。给定一张肖像照片和一段音频，它生成具有自然口型同步、微妙面部微表情（眉毛抬起、眼睛眯起、下颌紧张）和有机头部运动的视频，使结果几乎与录制视频无法区分。它处于数字人模型的高端档位。更新的 OmniHuman v1.5 提供进一步改进。两者都以 720p 输出三种纵横比（1:1、16:9、9:16）。如果逼真度是你的优先级——用于高管演示、主题演讲、旗舰营销或专业课程——OmniHuman 是明确的选择，优于更轻量的 Kling LipSync 或高产量的 Pixverse Lipsync。

免费试用 OmniHuman

分步指南

准备优化过的肖像以获得最大逼真度

肖像照片质量直接决定输出质量——比 Kling LipSync 或 Pixverse 更甚，因为 OmniHuman 的高级面部动画会暴露任何源图像的瑕疵。使用正面、光照良好、中性闭嘴表情的照片，人物看向或接近相机。避免：侧面（模型无法推断面部隐藏的一侧）、重阴影（在动画中创建不一致的光照）、太阳镜（阻挡眼部动画）、手靠近脸部（创建遮挡伪影）。专业头像风格的照片产生最佳效果。面部区域最低分辨率：512×512 像素。对于 AI 生成的肖像，在提供给 OmniHuman 之前验证嘴巴、眼睛或下颌线周围没有伪影。

生成或上传广播品质音频

音频轨道驱动 OmniHuman 中的一切——嘴唇运动、面部表情、头部运动甚至眨眼时机都跟随语音节奏和情感基调。音频质量对最终结果的影响比肖像更大。生成语音使用 ElevenLabs v3（最佳英语表现力，21 种声音）或 Minimax Speech 2.5 HD（最佳中文声调准确度，17 种声音）。上传录音确保单人语音、最小背景噪音，以 44.1kHz 或更高采样率录制。说话速度很重要：中等速度（130-160 WPM）产生最自然的口型同步。快速语音导致模型匆忙通过音素；慢速语音可能在嘴唇运动之间创建不自然的长停顿。

在画布上将肖像 + 音频连接到 OmniHuman

添加图像节点（肖像）、音频节点（语音），并将两者连接到选择了 OmniHuman 的视频节点。模型自动从音频波形合成自然头部运动、眨眼、挑眉和口型同步——没有文本提示词，也没有可配置参数。这种零参数设计意味着结果完全由你的两个输入决定。OmniHuman 以 720p 输出 1:1、16:9 或 9:16 纵横比。社交媒体选择 9:16（TikTok、Instagram Reels、YouTube Shorts），演示和网页嵌入选择 16:9，个人资料视频和 LinkedIn 帖子选择 1:1。渲染时间随音频时长线性扩展，因此较长旁白生成时间也按比例增加。

通过 TTS → OmniHuman 管道跨语言扩展

肖像 + 音频架构在多语言规模上大放异彩。生成英语（ElevenLabs）、中文（Minimax Speech）、西班牙语、日语等 TTS 音频轨道，将每个音频轨道与相同肖像提供给 OmniHuman。角色面部在所有语言中保持相同——只有嘴唇运动和头部姿势变化以匹配新音频的节奏和基调。在 Astorie 画布上放置并行的 OmniHuman 视频节点同时跨语言生成。对于不需要超逼真度的高产量本地化，Kling LipSync 或 Pixverse Lipsync 每个片段渲染速度快得多——代价是逼真度明显较低。

参数技巧

OmniHuman 由音频驱动，零可配置参数。你的两个输入——肖像质量和音频清晰度——是唯一的控制手段。将 80% 的准备时间预算用于确保这两者到位；模型处理其他一切。

正面中性闭嘴表情的肖像产生的效果比有角度或有表情的起始照片好得多。模型从音频合成自己的自然表情——已经有表情的肖像与模型的动画产生冲突。

渲染时间随音频时长线性扩展。希望快速迭代的项目，先用 Pixverse Lipsync 草拟脚本和测试音频节奏，然后用 OmniHuman 生成最终批准的版本。

OmniHuman v1.5 在眼球运动自然度和微表情变化方面有微妙改进。高风险内容（投资者路演、主题演讲）使用 v1.5，这些微妙细节很重要；标准 OmniHuman 对培训视频和教程足够。

输出预期

OmniHuman 生成 Astorie 上最逼真的数字人视频——口型同步准确度、自然头部摇摆、眨眼时机和面部微表情达到最先进水平。它是高端选项。三档数字人系统：OmniHuman 用于旗舰内容的最大逼真度（投资者路演、主题演讲、主打营销视频），Kling LipSync 作为按任务档位用于质量重要、希望每片段渲染时间可预测的专业内容，Pixverse Lipsync 作为按秒档位用于高产量批量制作（每日社交媒体、教育系列、多语言本地化）。OmniHuman 相对于 Kling 的具体优势：更自然的眼球运动、更丰富的微表情、对情感语音更好的处理。局限性：最大 720p 分辨率，而 Kling 输出更高分辨率。

在 Astorie 上使用 OmniHuman

在 Astorie 的无限画布上将 OmniHuman 与其他 AI 模型连接使用。无需 GPU，免费开始。

免费开始

文档

其他模型教程

Kling

Kling LipSync

Kling LipSync 将 Kling 行业领先的人体运动引擎带入音频驱动的数字人生成，以更轻的渲染产生流畅、自然的嘴唇运动和面部表情，可与 OmniHuman 媲美。它按任务计费而非按音频秒数，因此渲染时间不受片段长度影响——位于 OmniHuman 高端品质和 Pixverse Lipsync 按秒高产量之间的中间档位。架构优势：Kling LipSync 由使 Kling 3.0 成为人体运动最佳视频模型的同一引擎驱动，意味着下颌运动、脸颊变形和下巴运动是解剖学精确的而非近似的。

查看教程

Lipsync

Pixverse Lipsync

Pixverse Lipsync 是数字人视频的速度冠军——按每秒输出计费，使任何规模的高产量制作都很快。对极短片段，Pixverse 可以比 Kling LipSync 的按任务模式更快完成；对较长片段，Kling 成为更高效的选择。质量权衡是真实的：Pixverse 产生的嘴唇运动对社交媒体和网页内容来说"足够好"，但缺乏 Kling 的解剖学精度或 OmniHuman 的超逼真度。如果你需要 10+ 个数字人片段用于内容系列、教育课程或多语言本地化，Pixverse 是唯一无需让每片段渲染时间累加的扩展模型。