实现滤镜自由

好消息！美数课堂回归啦！课代表会继续不定期跟大家分享各类学习经验。今天我们来聊一聊 AI 画画的进阶玩法。

在上周美数课发布的稿件🔗《<繁花>拍出的这些上海腔调，侬晓得伐？》中，我们尝试用更加进阶的 AI 绘画技术，生成了一张《繁花》滤镜版东方明珠。让大家能够赶在大结局前，看到东方明珠塔独一无二的“王家卫 style”。

虽然电视剧《繁花》已经大结局了，但我们对于 AI 绘画的探索还在继续。课代表诚邀各位主创共聚一堂，以 Q&A 的方式给大家带来创作背后的各种奇思妙想。让我们开始吧！

水到渠成的探索

Q：想到生成《繁花》风格滤镜的契机是什么？

大概在电视剧播到一半的时候，我们留意到很多人在网上发解读《繁花》电视剧光影效果的短视频。讨论比较多的有王家卫影片的个人风格，《繁花》的光影效果等。说到底就是一个“滤镜”的概念。

要在短时间去复刻一个《繁花》滤镜，我们想到了一种用 AI 大小模型结合的方式。这也是我们一直在摸索的一种创作方式，也有很多成熟的开源工具。在想清楚这些问题后，我们决定结合 AI 画画去制作一款《繁花》风格的滤镜。

Q：AI 大小模型结合是什么意思？

很多人熟悉的像 Midjourney、Stable Diffusion 这样的 AI 画画工具，背后是基于海量图像、文本训练而成的大模型。大模型能满足很多通用的图像生成需求，但在一些特定要求的图像生成中，效果会不尽如人意。哪怕训练过再多的图，大模型也总有未涉猎的领域。

因此在《繁花》滤镜这种特定要求的生成上，为了尽可能地还原效果，我们需要借助小模型对大模型进行微调，小模型更像是一种辅助插件。比起修改提示词，小模型能让 AI 生成的图像更容易趋近于想要的生成效果。特别是一些风格化的滤镜，具象的物品、人物等。比如像下面的小人书风格小模型，就非常有趣。

图片来源：civitai 小模型：小人书·连环画 xiaorenshu

Q：为什么选择将滤镜应用在东方明珠上？

东方明珠在《繁花》里是隐隐约约穿插其中的，也是上海最有辨识度的地标建筑。

我们预计稿子发布于《繁花》大结局前，当时电视剧里的东方明珠还未竣工。如果能与电视剧进行联动，让大家提前看到《繁花》滤镜风格的东方明珠，应该能勾起大家的一些好奇心！幸运的是，在《繁花》电视剧大结局的片尾，果真出现了东方明珠的画面。顿时有了一种考试押对题的感觉。

另外一个考虑是东方明珠夜景的灯光效果很棒，有利于 AI 去扩散生成图像的光影效果，给创作带来更多的可能性。

意犹未尽，捣鼓 N 下

Q：《繁花》滤镜是通过什么方式生成的？

我们用 Stable Diffusion AI 大模型训练了一种叫作 LoRA 的小模型，LoRA 是一种用于微调大模型生成结果的小模型。

我们可以把大模型比作一本词典，它原本并没有关于《繁花》滤镜的词条，因此也无法按照《繁花》的效果生成图像。小模型通过训练特定的图像数据，相当于在词典里插入了一个新词条，给大模型生成图像提供了一种依据、参考或者是偏向。

Q：在制作滤镜过程中遇到过什么困难？

比较深刻的感受是，“魔法”是会经常失灵的（狗头），并没有想象中的那么简单。

AI 出图的过程里有非常多的不确定性，它生成的图片也很难一次就让你满意，因此我们要做好多轮的模型训练和图像生成。

比如在做测试的时候，上面这组图的滤镜不仅改变画风，也改变了武康大楼的结构。像这样生成出奇怪效果的情况，在用 AI 出图的时候还挺常见的。

另外一点，训练 AI 小模型的时间短则一两个小时，长则四五个小时。如果一批训练的效果不好，就要推翻重来，时间成本会非常高。

Q：在制作过程中有什么新的体验吗？

虽然说 AI 绘画有很多重复性的测试工作，但你也会惊叹于它的创造性和“想象力”。这是一组我们在做测试时比较满意的图，因为它既保留了光影的质感，也尽可能地还原了建筑的原貌。图像做旧的效果，给人一种 90 年代的感觉。

在减少图像控制的情况下，AI 会给你一些意想不到的效果。比如这组图里，AI 把原图中点状的灯光串联成了霓虹灯带的效果。

Q：《繁花》滤镜海报发布后，有什么样的期待？

我们制作这款滤镜，不仅仅是为了向大家展示 AI 的技术力，更重要的是去探索 AI 技术在更多场景运用的可能性。

海报发布后，有读者来问我们是否可以开源一下，感觉是获得了一些关注度。不过对于原理性的讨论还是不太多，毕竟讨论模型、参数之类的还挺劝退人的。

这款滤镜或许能够成为一个契机，让更多人了解 AI 的多样玩法，让 AI 为我们的生活带来更多便利和乐趣！

关于 AI 画画，大家还有哪些好奇和期待？欢迎大家在评论区和我们留言互动。

编辑｜ 实习生 施媛媛

往期推荐