AIGC与推荐系统：从辅助创作到个性化生成

你好，我是王喆。这一节我们介绍AIGC在推荐系统中的应用。

无论是知识辅助还是大模型推荐系统的创新，大模型始终还是在已有的推荐系统框架内进行优化。跟传统的推荐模型一样，这些新方案归根结底也是为了更好地理解用户兴趣，提高推荐的准确率。

但事实上，AI可以做的更多，我们不应该让已有的框架限制自己的想象力。随着AIGC的能力越来越强，AI越来越直接地参与到推荐内容的生成过程中，相比在已有的框架下“小修小补”，AI有能力直接参与内容的创造，更加深刻地变革推荐系统。

AI辅助内容生成

在AI能够完全自主地生成推荐内容之前，让AI辅助人工增强内容创作过程中的某些步骤显然是一个更容易达成的目标，也是当前AIGC产品化发力的重点。事实上，越来越多的公司在这个方向上已经落地了诸多AI应用。

AI辅助内容生成对于推荐系统的积极意义主要有3点：

• 可以高效地转换、生成大量内容，丰富推荐系统的候选集。
• 不仅可以大幅提升创作者的创作效率，还能提升内容更新频率。
• AI可以生成前所未见的新内容，提升内容的多样性和新鲜度。

下面，我们以视频编辑工具CapCut的AI应用为例，介绍当前AI在内容编辑领域的进展。

首先是图片与视频上色。图（a）所示的是AI给黑白图片或视频上色的应用。图片上色模型的一般方案是利用彩色照片与黑白照片的图片作为训练集，训练一个上色模型将黑白空间映射到彩色空间进行初步上色，再利用预训练的Stable Diffusion模型继续彩色图片的精修，形成最终的彩色图片。

其次是AI加字幕。如图（b）所示，AI加字幕可以将视频中的音频转换成字幕，这大大解放了内容创作者的生产力。这一应用利用了大模型从音频到文本的多模态转换能力。

最后是基于文字脚本生成视频内容。如图（c）所示，AI可以基于一段描述性文字生成对应的视频内容，这利用了大模型从文本到视频的多模态转换能力。虽然AI生成的视频目前还是以已有视频、图片、相关字幕的组合为主，但初步生成的视频已经能够成为内容创作者的高质量素材，经过下一步的人工编辑，形成最终的视频内容，这大大加快了创作速度。

总的来说，AI在辅助内容生成方向的应用最成熟，商业化时间也最早。除了在短视频生成领域的应用，AI在辅助小说创作、论文写作、生成PPT、图像处理等领域都已经有非常成功的应用。我也在下方列出了一些常用的内容辅助生成的工具，你可以多试试看，体验一下，相信也会找到能够帮助自己工作和学习的AI工具。

AI辅助内容生成虽然加快了创作效率，但归根结底没有直接生成内容，还是需要大量人工的参与。下面我以AI生成广告创意为例，介绍AI直接生成内容的例子。

AI生成广告创意

在AIGC的领域，广告创意的生成因为商业机制大，需要生成的内容容易模版化，所以成为了一个潜力最大，也最容易落地的方向。具体来说，AI生成广告创意有2大潜在的收益：

• 能够直接提升广告创意的质量和生成效率，提升用户对产品的品牌印象。
• 能够同时生成大量备选广告创意，再结合人工筛选或者算法探索筛选的方式留下点击率最高的创意。

目前，图片广告创意的生成方案已经非常成熟，而且已经有诸多公司推出了商业化产品。下图展示了某公司（AdCreative.ai）AI生成广告创意的过程。

客户只需要输入产品图片，AI会自动为其生成背景。添加产品的关键描述后，AI也可以进行自动美化，最终形成完成度很高的产品海报。

可以看到，AI基于强大的知识储备生成了海量样式的海报，这些创意都可以直接参与广告投放，由算法基于“探索与利用”的思路进行创意的筛选与更新，提升产品广告的点击率，并在相当长一段时间通过更新不同的广告创意维持点击率不衰减。

不过，用于生成视频广告的AI产品目前还处于早期阶段。如下图所示，AI可以生成一个虚拟人物进行产品的讲解和展示，但创意整体感觉比较死板，跟人类拍摄的视频广告差距还较大。对于一些质量要求不高的场景，AI可以帮助批量生成广告创意；但对于创新性要求比较高的场景，AI还无法生成高质量的广告创意，还要期待视频AI进一步的发展。

无论是AI辅助内容生成，还是广告创意生成，用户的点击行为、观看兴趣并不会直接影响内容生成的过程。所以某种意义上说，这个AI生成的新世界是创作者定义的“新世界”，并不是受众用户自己个性化的“新世界”。下面我们一起探索一种用户意图直接参与推荐内容生成的方案。

AI个性化生成推荐内容

要让AI直接领会用户意图来个性化生成推荐内容，就一定要建立起一个用户行为到AI再到内容生成的闭环才行。为此，新加坡国立大学的研究者提出了一个下一代生成式推荐系统的框架GeneRec。GeneRec中用户和推荐系统交互的新的闭环如下图所示。

传统的推荐系统内容生成方式大致是这样的：人类创作者（Human Uploader）创作内容并上传到推荐系统的物品候选集中（Item Corpus），推荐系统（Recommender）根据推荐模型的选择，从候选物品集中挑选合适的内容展现给用户，用户产生反馈返回给推荐系统，推荐模型持续进行优化。

GeneRec相比传统的推荐系统多了一个角色，就是AI创作者（AI Generator）。它负责根据用户的需求生成新的内容，创作好的内容可以直接进入候选物品库，供推荐系统选择，也可以直接返回给用户，给用户最直接快速的响应。

举例来说，在短视频应用中，有一类短视频是截取并整合长视频的片段来满足用户“快餐式”的观看需求的。对于这类需求，根据用户的历史行为来推断用户的兴趣，再根据用户的兴趣来进行视频的截取和整合，就是一个很好的应用GeneRec的场景。

如下图所示，用户5的历史行为是观看了一些风景、宠物的视频，将这些信息输入给AI创作者后，AI创作者通过大模型理解用户意图和长视频中每一帧的内容，截取出自然风景相关的短视频，推送给用户。而用户100则喜欢看汽车和美女的视频，那么AI创作者则截取了汽车相关的片段推送给用户。

再比如在服装商品推荐场景中，商品展示图中服装的搭配和颜色、模特的姿势和风格可以直接影响用户的购买决策。因此利用GeneRec的框架，同样可以把用户历史的行为描述以Prompt的方式输入AI创作者大模型，有针对性地生成更能够吸引用户的商品缩略图。

如下图所示，针对同一款商品，AI生成了不同颜色、不同模特姿势的备选商品图。利用GeneRec框架，推荐系统可以感知到用户对于商品颜色和模特展现方式的偏好，然后选择最合适的商品缩略图展示给用户，提升商品的点击率。

总结

AIGC的价值不仅体现在为传统推荐模型提供优化，更在于突破框架、直接参与内容创造。今天我们主要介绍了AI在内容生成方面的应用，主要包括三个方向：

1. AI辅助内容生成
2. AI生成广告创意
3. AI个性化生成推荐内容

其中AI辅助内容生成的应用最成熟，商业化时间也最早；AI生成广告创意的应用在逐渐落地，商业前景最有潜力；AI个性化生成推荐内容是未来，目前已经形成了可行的技术框架。

相比用大模型来改进推荐模型，本节介绍的AIGC诸多应用是一个更广阔的应用大模型的方向。同时，我也强烈建议读者能够打开思路，从更多元的角度思考如何把推荐系统和大模型结合起来，这样才能获得更大的收益。如果只是为了应用大模型而应用大模型，或者为了迭代推荐模型而生硬的应用大模型，那只会限制我们的思路，削弱大模型可能为推荐系统带来的影响。