中文故事一键变手绘动画:story-to-handdrawn-video的分句分镜与翻页转场流程
手绘动画以前总觉得是专业人士才能搞的——要会画画、会分镜头、会剪辑,一套下来没有十天半个月门都摸不到。现在有AI了,出张图很简单,但要把一张图片做成动画,仍然需要考虑分镜头、连贯性和角色一致性等问题。
story-to-handdrawn-video 把做动画这件事串起来了。它自带二十种手绘风格,从彩铅到水墨都可以随意切换,不需要你去理解动画,只需要你有一个故事。目前在GitHub上已有1237个Star。
概括一下,它是一个把中文故事转化成手绘漫画动画的Skill。
你丢一段故事进去,它就会自动分段、逐页生成插图,字幕、线稿、上色、翻页转场都会自动完成,最后输出一支3:4竖屏动画。
实际运行体验
只需对Agent说:使用story-to-handdrawn-video,把这则故事转化成手绘动画。
它首先会把句子分成几个部分,一个完整的句子对应一个分镜头,如果一句话超过36个字,还会在"后来""突然"这类转折处继续切分。这个环节看上去简单,但手动处理很费时间。
接下来逐页生成手绘插画,默认为彩铅日记漫画风格,用黑色毡尖笔勾勒轮廓,搭配低饱和度的彩铅。也可以用儿童蜡笔的方式来画,线条故意不规则,颜色也不会全部填满边框,非常适合亲子故事。
然后是比较重要的一步:黑白线稿先铺好,再从左往右慢慢把颜色补回来。这不是让AI再画一幅黑白图片,而是在本地使用FFmpeg将同一张彩色图片转换为灰度版本,所以两幅图自然对齐。
核心功能
01 中文故事自动分句和动态分镜
你只需要准备故事,句子、镜头等都交给Skill。默认为一页一屏,字幕每行不超过13个汉字,最多三行。如果超过规定数量会直接被拦截,不会等到视频渲染完毕才发现文字挤出画面。这种先校验再渲染的设计,批量做内容时会节省很多时间和token。
02 20种内置手绘风格
从彩铅日记、水墨写意,到小豆人涂鸦、粗粝木刻社论,每种风格都有示例图可以直接比较整体感觉。字幕不是让AI直接在图片上绘制文字,而是在本地使用开源的手写字体进行渲染,不会出现画面很好但字幕像乱码的情况。
03 两种输入方式
第一种是把整个故事直接交给AI,由AI从分句、分镜头做到生图和视频合成,完成从文字到成片的全过程。第二种适合已经有素材的情况:自己准备一套漫画图片,它只负责把这组漫画图片制作成可以翻页的动画。如果本来就擅长绘画,第二种方式比较方便——素材自己控制,Skill负责最麻烦的动画部分。
04 右下角卷页翻书转场
页与页之间模拟真实翻书,翻页时保留淡化的上一页纹理,也可以改成普通的cut转场。对于绘本、日记漫画等作品,这样的转场比普通的淡入淡出更合适。
安装方式
先把项目克隆到本地,安装依赖,再跑一次检查:
git clone https://github.com/gnipbao/story-to-handdrawn-video.git
cd story-to-handdrawn-video
npm ci
npm run check
接着把Skill包复制到Agent的skills目录下:
cp -R skill-package/story-to-handdrawn-video ~/.codex/skills/
或者打开Codex直接说:
帮我安装 https://github.com/gnipbao/story-to-handdrawn-video.git
直接在Codex中输入:
用$story-to-handdrawn-video 把这个故事转化成可以后期配音的手绘动画。
<在这里粘贴故事文案>
还可以选择特定风格:
用$story-to-handdrawn-video 把这个故事转化成可以后期配音的手绘动画。
<在这里粘贴故事文案>
风格:彩铅日记
注意事项
- 目前只能制作3:4竖屏动画,不能直接制作横屏,不过代码开源可以自己改
- 输出的视频没有声音,需要后期加上配音、BGM
- 画图需要调用AI模型会产生费用,除非有私有部署的大模型
小结
真正值得关注的不是它能不能自动做出一支绘本动画,而是当拆镜、生图、排版、转场等一系列操作全部交给Skill后,我们做内容时真正需要亲手完成的部分还有多少。如果仅仅是把故事讲清楚,其他都交给Agent,做动画这件事总有一天会成为一种表达能力而不再是技能。项目基于MIT协议开源。
开源地址:https://github.com/gnipbao/story-to-handdrawn-video