立体绘本制作过程_自制立体可翻页绘本


国庆佳节之际,抖音上的一款特效——“AI治愈绘本”引起了广泛关注。这款特效凭借其温暖优美的画风和高度的还原度,吸引了数以百万计的用户参与投稿。它首次采用了3D立体翻书的动态绘本形式,巧妙地将用户的首张图片作为书皮展现,让整个体验充满了新奇与乐趣。此特效的相关话题播放量已经突破了惊人的11亿次。

据悉,“AI治愈绘本”特效背后依托的是字节跳动豆包大模型的强大图像生成能力。技术团队通过多项自研算法,使模型在风格响应度和画面美观度上有了显著提升,更加真实地还原了人物的面貌特征、服装款式、颜色以及配饰等主要特点,实现在“美且像”的维度上的优秀表现。

为了提供更优秀的交互方式,技术团队还自主开发了主体抹除和扩图功能,对风格化结果图进行后处理,使得多张结果图可以在平台上顺畅切换。其中,IP保持技术RealCustom和AI扩图、AI消除技术ByteEdit的成果尤为突出,分别被入选CVPR2024和ECCV2024等权威学术会议。

RealCustom技术以其独特的魅力,生成了既美丽又像本人的效果。这种个性化定制技术能够实时地对任意开放域物体或人物IP进行无需微调的生成,尤其在AI绘本中,它能够精准地保留输入图片的特征。与传统的图片特征保持方法不同,RealCustom不仅还原图片的细节特征,还具备对图片的抽象语义理解能力,能够根据文本输入自适应地变化,生成更加和谐的效果。

ByteEdit技术则让填充背景更加自然和谐。在特效中,AI扩图和AI消除能力被巧妙地运用,使得图像中的指定物体或区域能够被精准地消除,并根据周围背景填充消除位置的内容;而AI扩图则能够根据指定的扩展比例延展原图像内容,两者都致力于让填充内容与原图完美融合。

在技术团队的努力下,“AI治愈绘本”特效支持用户上传多张图片,并针对该场景单独设计了一套多服务并行逻辑以及性能加速策略。通过自研的书本3D运动和阴影跟随算法,技术团队对书内物体的运动曲线进行参数化调整,使得书页时的阴影效果自然流动,更大程度地保留了书页的立体感和自然感。

近期,抖音特效团队又在国庆期间推出了另一款温暖治愈系的“金秋绘本风特效”,同样受到了百万级用户的投稿,相关话题播放量也超过了1.8亿次。豆包大模型作为字节跳动自研的大语言模型,已通过旗下云服务平台火山引擎向企业提供开放服务,其模型家族已全面覆盖语言、语音、图像、视频等全模态,满足不同行业和领域的业务场景需求。

以上信息综合自抖音平台及相关技术团队的介绍。