Advertisement

【closerAI ComfyUI】厉害!动画、视频、电影都能搞!UniAnimate万相Lora简单高效实现动画效果!无脑冲!

阅读量:

添加图片注释,不超过 140 字(可选)

更多AI前沿科技资讯,请关注我们:

closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

【closerAI ComfyUI】厉害!动画、视频、电影都能搞!UniAnimate万相Lora简单高效实现动画效果!无脑冲!

大家好,我是Jimmy。阿里团队基于万相2.1视频生成模型推出人物动画LORA,简化了动作迁移的工作流程,只需要接入LORA和撰写简单提示词即可完成高质量的人物动作迁移的视频,相当于只需要找到动作,它就可以驱动指定人物去模仿这个动作。动画、视频、电影都能搞!你就说屌不屌!

UniAnimate项目介绍

仓库地址:https://github.com/ali-vilab/UniAnimate

论文地址:https://unianimate.github.io/

添加图片注释,不超过 140 字(可选)

UniAnimate统一视频扩散模型用于一致的人类图像动画

UniAnimate 旨在通过统一的视频扩散模型实现一致的人类图像动画。该研究解决了现有技术的两个主要限制:需要额外的参考模型来对齐身份图像以及生成的视频较短。通过引入统一的噪声输入和基于状态空间模型的时间建模架构,UniAnimate 能够生成高质量、长时间的人类视频。

UniAnimate 框架

为了解决这些问题,UniAnimate 提出了以下创新:

统一的特征空间映射:通过将参考图像、姿势引导和噪声视频映射到一个共同的特征空间,减少了优化难度并确保了时间一致性。

统一的噪声输入:支持随机噪声输入和第一帧条件输入,增强了生成长期视频的能力。

基于状态空间模型的时间建模:替代了计算消耗大的时间变换器,以更高效地处理长序列。

添加图片注释,不超过 140 字(可选)

UniAnimate的comfyUI实现

KJ大神已复现了这个功能,大家更新KJnodes即可。

Kjwanvideo:https://github.com/kijai/ComfyUI-WanVideoWrapper

模型下载:https://huggingface.co/Kijai/WanVideo_comfy/tree/main

模型下载后放置:comfyUI/models/loras中

更新和下载完模型后重启comfyUI,拖入我们的工作流:

closerAI UniAnimate wan lora 人物动画工作流

添加图片注释,不超过 140 字(可选)

在wan2.1的基础视频生成工作流中加入最新支持UniAnimate的节点。

添加图片注释,不超过 140 字(可选)

加载一张人像图和一段动作舞蹈:左边是图,右边是参考动作视频

添加图片注释,不超过 140 字(可选)

然后无脑执行。

执行完效果:

我的设备配置低,跑了很久,搞了个1S的。效果如上。大家作参考吧。

本地算力不够怎么办?

如果本地设备算力不好的小伙伴,推荐使用线上comfyUI来体验:runninghub.cn

添加图片注释,不超过 140 字(可选)

runninghub.cn一图跳舞工作流体验地址:

https://www.runninghub.cn/ai-detail/1913774392671727617

注册地址:https://www.runninghub.cn/?utm_source=kol01-RH151

通过这个链接第一次注册送1000点,每日登录送100点


最后几句:

一个LORA就能实现动作迁移,简化了以往的工作流程,让你出片更高效!可玩性和市场价值非常高。

以上是UniAnimate万相Lora的介绍、安装和使用方法以及closerAI团队制作的stable diffusion comfyUI closerAI开发的closerAI UniAnimate wan lora 人物动画工作流介绍,大家可以根据工作流思路进行尝试搭建。

当然,也可以在我们closerAI会员站上获取对应的工作流(查看原文)。

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章,我们,下次再见。

/ 作者:JimmyMo

更多AI前沿科技资讯,请关注我们:

closerAI-一个深入探索前沿人工智能与AIGC领域的资讯平台

添加图片注释,不超过 140 字(可选)

全部评论 (0)

还没有任何评论哟~