01|AI产品的四层架构

你好,我是产品二姐。

到目前为止,你肯定体验过一些AI产品了,但是你知道吗?如果把AI产品比作冰山,作为一个用户所感受到的部分仅仅是浮在水面上的十分之一,另外隐藏在水底的十分之九才是AI产品经理的重头戏。

我们从全局来观察一下这座冰山的水上、水下部分。

图片

每一个AI产品都像图中一样有四层结构。

  • 第一层:数据、算力、算法层。

  • 第二层:模型层。

  • 第三层:应用层。

  • 第四层:用户层。

学完这节课,你会对这四层结构有整体理解,未来在构建一款产品时,就不仅能设计它长成什么样,还能从内部控制它的外在表现,完整地定义你的产品。

为了便于理解,我们用一个人的成长过程做类比,来说明这四层对于AI产品的意义。

第一层:数据、算力、算法层

这一层是AI产品的基座,相当于人在成长过程中所接受的教育体系,包括丰富的学习资源、教学硬件和优秀的老师,这三者分别对应数据、算力、和算法。

这一层我们以理论学习为主,帮助你理解AI的技术边界在哪里。在未来的工作中,你肯定会遇到某些产品功能难以实现的情况,这些知识能让你迅速判断出这是因为AI技术本身的问题,还是因为我们不会使用AI的问题。

数据

这个概念很好理解。数据按照内容分两类,一类是用于建设AI基础能力的海量数据,就像学校的图书馆资源,对所有人来说都是一样的; 一类是个性化数据,就像你在图书馆之外,总有自己独特的学习资料,比如学长的学习笔记,你感兴趣的课外读物。

第一类数据由大模型厂商决定,需要专门的数据供应方和大模型厂商来做,和普通的AI产品经理关系不大。但第二类数据就是AI产品经理要来“精挑细选”了。作为AI产品经理,我们需要了解三个方向的问题。

  1. 判断什么样的数据是优质数据?

  2. 如何获取这些优质数据?

  3. 这些数据对AI产品会产生哪些影响?

别急,这些内容在后续都会讲到,这一节仅仅做知识踩点。

算力

这是支撑AI产品的硬件环境,它就像是一个学校里的教学设备、教室、实验室等等。对于AI来说,算力就是计算时使用的芯片。当然,你不需要了解芯片的制作工艺、使用效率。但作为AI产品经理,你需要了解三点。

  1. 如何评估一个AI产品对算力的需求?

  2. 使用这些算力要花多少钱?

  3. 使用哪些方法可以降低成本?

这些能力能帮助你从ROI角度评估产品的商业可行性。比如我们现在经常使用的免费AI搜索,如果不做任何成本调优,一次搜索都要花掉几块钱。那假如一天发起十万次搜索,仅仅算力成本就要消耗几十万块。想要长期发展,就必须在商业收益和成本上做好规划。

算法

如果说数据和算力都有一个具象的表现,那么算法就是AI背后最抽象的计算机原理。好比学校里的老师,我们并不是看这个老师长得高矮胖瘦,而是要看Ta的教学方法,这个方法相比教学设备、图书资源是很抽象的,也是比较难的部分。

对于AI产品经理来说,了解算法有两大好处。一是能帮助我们理解技术边界,鉴定什么问题AI能解决,什么不能解决。二是能帮我们与算法工程师、开发工程师更好地合作,换个黑话的说法就是“避免被他们忽悠了”。

第二层:模型层

有了上一层的学校图书馆、教学场地和优秀老师,接下来就是花时间培育出优秀的“学生”了。

模型层细分可以分为三层,分别对应着不同水平的学生,我们由下至上来看。

  • Level 0:基座大模型,相当于本科生,具备通用能力。

  • Level 1:垂直领域模型,相当于在本科毕业后继续攻读的研究生,具备一定专业领域的知识。

  • Level 2:场景模型,相当于本科或研究生毕业后,经过工作经验积累,或者公司的专项培训,具备某些业务专家的能力。

在一个AI产品中,你可以仅选择其中某个层级的模型,也可以根据需要选择多个模型。就像一个公司既有本科生,又会有研究生,也会有业务专家。

作为AI产品经理,我们就需要像公司的HR一样,起码具备两项能力。

  1. 如何挑选合适的员工,也就是为产品场景找到合适的基座大模型或者领域模型。

  2. 如何进行公司内部的专项培训,也就是训练出一个场景模型,这里需要理解模型微调原理。

好了,我们总结下第一层和第二层需要掌握的知识点,以及掌握这些知识点后你可以具备的能力。这部分的细节我们会在后续课程中详细展开。

图片

当你找到合适的“人员”,接下来就是要调动这些资源动手做东西啦,也就到了产品的应用层。

第三层:应用层

这里的应用层更像是产品拆开包装后,你所看到的各个元器件之间是怎么组织、协调的,也是产品经理和应用开发者工作最繁重的地方。

如果说前面的两层主要是理论学习,那么应用层拼的就是实战学习。我会在后续的课程中以亲身实践案例来讲述。在这里,你需要掌握两大核心技术,提示词工程和 Agent 设计。

我们在这里先来阐述概念。

提示词工程

这里的提示词工程并非你常听到的和ChatGPT对话的提示词撰写技巧,而是面向产品经理的提示词工程技术。我用一个比喻来说明二者的不同。

  • 如果你是ChatGPT的用户,写提示词就像玩盲盒。你对结果有所期待,但不要求确定。

  • 如果你是 AI 产品经理,写提示词就像打靶。你是首先有一个确定的目标,再开始写提示词,直到提示词能打中靶心为止。

比如在客服场景中,我们需要设计提示词,让AI判断对话中,用户的情绪是正面、中性还是负面。

  • 当用户输入“今天别给我送快递,我不方便收货,如果可以明天送”时,输出立场为中性。

  • 当用户输入“包包内部结构不好,找东西不方便”时,输出立场为“负面”。

在这两个例子中,都有“不方便”这个词,但输出的立场却不一样。那么我们在写提示词的时候,就必须做多次试验,保证相似的场景能有严格的输出,像打靶一样每次都能打到靶心。

为了达到这个目标,你的提示词可能是这样的:

图片

你看,这个提示词里貌似有很多“废话”,但对于一个模型来说是必要的。这个例子里的提示词工程用专业名词来说叫Hard prompting(硬提示)工程,就是把提示词当做输入项直接给到模型,输出期待的答案。

既然有Hard prompting, 那就会有Soft prompting(软提示),它还有另外一个名字,叫Prompt tuning,提示词微调工程。简单来说,就是用微调模型的方法让模型学习到某种模式,模型学会之后,就不用再像Hard prompting那样输入很长的提示词了。

比如在上面的例子中我们会搭配很多组这样的数据对来微调模型。

图片

在模型微调结束后, 我们就只需要以下几句话就可以得到我们期待的结果,这个长度就比Hard prompting的“废话”少多了。

图片

打个比方吧,Hard prompting 就好像你对一个刚入职的新同事给他安排任务,需要很详细地告诉ta要做什么,为什么要做,如何做,具体步骤,而且要给给他举例说明。而Soft prompting 就像是培养一个熟练工,当新同事适应一段时间后,你不再需要那么详细,可能只需要一句话,他就能体会你的意思。这也意味着你对他成功地完成了Soft prompting工程。

回到产品本身,就是在产品实验阶段通过Hard prompting 进行验证,上线得到真实数据验证成功后,通过 Soft prompting微调那些在模型里形成的程序性记忆。我们在后续的实战案例11-13节中会详细讲述。

我们把上述提示词工程总结为一个提示词的生命周期,就像下面这张图展示的内容。

图片

Agent 设计

如果说提示词工程是用来影响模型的思考,那么Agent则在思考的基础之上增加了行动能力。

仅使用提示词工程的AI产品只会聊天,而结合Agent设计的AI产品就既能聊天,还能做事情,不会沦为思想上的巨人,行动上的矮子。

Agent翻译为中文叫智能体,直译过来叫“代理”,早在1986年,图灵奖得主Marvin Minsky在《The Society of Mind》一书中就提到了Agent的概念。那为什么现在又重新被推上历史舞台了呢?

因为Agent实际上有五个递进的等级,而当下正处于从第二级向第三级跨越的阶段。

我们依次说下这五个等级。

  • 第一级:基于规则,能使用工具的智能体。
  • 第二级:基于模仿学习、强化学习,能使用工具且能做决策、推理的智能体。
  • 第三级:基于大语言模型,在第二级能力之上,增加了记忆、反思能力。
  • 第四级:基于大语言模型,在第三级能力之上,增加了自主学习能力。
  • 第五级:基于大语言模型,在第四级能力之上,增加了情感、智能体的社会协同能力。

在这一轮,为了让Agent能跨向第三级,解锁更多使用场景,AI产品经理们需要为Agent构建出四个能力。

  • 工具使用能力
  • 记忆能力
  • 反思能力
  • 规划决策能力

图片

我举例来说明这几项能力的定义。比如我写这节课这天正好是父亲节,我想做一张父亲节卡片。

  1. 我告诉ChatGPT:“画一张父亲节主题的卡片”。Ta会调用AI画图工具DALL.E-3绘出一张卡片,这是工具使用能力。

  2. 可我发现这张卡片上的主题词是英文字母,这可不行,我爸看不懂英语,于是我告诉Ta“把卡片上的英文换成中文”,ChatGPT会理解这句话,并再次调用DALL.E-3绘出一张卡片。这时你发现ChatGPT其实记住了我这里说的“卡片”指的就是第一次对话生成的卡片,这就是记忆能力。

  3. 然后,我再问ChatGPT “如果你是一位60岁的男性,你会喜欢这样的卡片吗?”,好了,Ta就会读取这张照片,并以60岁男性的角色评判这张图片,这就具备了反思能力。

  4. 最后,我完成了父亲节卡片。下次如果遇到母亲节,我问ChatGPT“如何做一张母亲节的卡片”,那么ChatGPT就会自己建议:第一步用DALL.E画一张照片,第二步以母亲的身份来评价这张照片,直到满意为止。这就具备了规划能力。

当然,实际场景中的Agent会比例子中的复杂,我们也会采用多种方式来让Agent具备这四大能力,在稍后的课程中,我会用案例来讲述。

通过应用层的这两个核心技术,我们就可以把产品的核心功能构建起来。接下来我们的产品就要包装一下,正式向用户见面了。我们来到了AI产品的第四层。

第四层:用户层

这一层是很多AI产品经理比较困惑的地方,我之前在做互联网产品的时候,产品经理的一大能力就是画原型图,而现在的AI产品,似乎大部分是一个用户对话界面,AI产品经理画原型图再也不用画那种长达十几页的用户跳转旅程。

然而这种对话界面绝对不是、也不应该成为唯一的形态。因为人类的信息有80%是从视觉中获得的,而这80%的视觉绝不是只用来看文字的。我在这里举个以画布作为用户层的例子供大家参考。

这是我在 globe.engineer 上看到的交互方式。

图片

想象一下,你和一位同事在白板前讨论问题,而这位同事就是一个智能体。

  • 首先你说出了一个想法,“咱们要调研一下关于具身机器人的东东”。

  • 然后Ta在画布迅速画出一个脑图。

  • 可是你发现,这些脑图用一个维恩图来表示会更好,因为其中有些项目是有重叠、关联作用的,维恩图更适合表达这种关系,于是你告诉“同事”,“我觉得用维恩图表达更好”。

  • 于是Ta迅速改成了维恩图的方式。

  • 你们两个如此反复,最终通过这种互动方式做出来一个调研思路。

  • 最后Agent根据这个思路通过搜索工具总结出一份完整的报告。

你瞧,这种方式就让人机交互变得更加自然,这也是这一轮AI给产品形态带来的革命性改变。也许你已经习惯了我们在App上点来点去,但仔细想想,在一个偌大的屏幕上,有时候可能你只关注某个角落里的一个按钮,这何尝不是一种视觉浪费呢?

当然,用户层的表现最终还是要根据用户的需求、使用场景、使用习惯来决定。我经常在想,在AI技术变革的时代,会不会出现像鼠标之于PC机,触摸屏之于智能手机那样跨时代的交互方式?尽管GPT-4o发布会对多模态Demo的展示很让人震撼,但从用户角度,似乎仍然在人机交互上有些隔阂。我们在AI技术浪潮下,一定会诞生全新的人机交互,但在此之前,不妨简单地让AI产品的UX遵循以下两个原则。

  • 让用户的学习路径最短。

  • 让效果呈现最直观。

小结

今天我们讲了AI产品有四层结构:数据、算力、算法层,模型层,应用层和用户层。你是不是对一个AI产品的全貌有个体系化的了解了呢?

在这节课开头,我把这个四层结构比作一座冰山,因为首先我们希望AI产品像一座建筑物结实可靠。而在即将结束这节课的时候,我更愿意把AI产品比作你要塑造的生命体。

  • 最底层(数据、算力、算法层)决定了生命体的气质:它是构建AI产品的基础,对底层的了解可以帮助我们确定技术边界,告诉我们什么样的产品功能可以用AI实现,什么样的功能需要产品侧降级,什么样的功能无法实现。

  • 模型层是在构建生命体的专业素养:AI产品经理需要懂得如何选用合适的基础模型,如何收集用于模型微调的优质数据集。

以上这两层我们会以理论学习为主。再往上的应用层和用户层是AI产品经理日常工作的主要内容,是我们需要通过大量实践才能掌握的技能。

  • 应用层是培训生命体的实战技术:AI产品经理需要掌握提示词工程和Agent设计两大核心技术。提示词工程是为了控制AI产品的输出,Agent设计则是为了让AI产品具备思考和行动的能力。而这两项内容也会作为核心内容出现的AI产品的PRD文档中。

  • 用户层是塑造生命体的外在形象:AI产品经理则需要和UX设计师一起,尽可能地缩短用户学习路径,增强产品的效果呈现,来吸引用户克服原有的使用惯性,快速启用AI产品,让我们更快的促进用户与产品互动,让产品进入迭代飞轮。

希望你的AI产品最终能成为一个内外兼修的生命体,持续生长。与此同时,你也会成长为一位连接用户与AI技术的硬核AI产品经理。

图片

接下来就随我一起进入AI产品的每一层来详细探索吧。

课后题

在你见到的AI产品中,有没有想过按照今天讲的层级架构来拆解这些产品呢?大胆地猜想一下这个产品在每一层可能分别要做哪些工作呢? 如果你是产品经理,你会从哪一层入手来让这个产品变得更好呢?

欢迎你在留言区和我交流。如果觉得有所收获,也可以把课程分享给更多的朋友一起学习。我们下节课见!

>>戳此加入课程交流群

精选留言

  • LLM流浪猫

    2024-10-19 16:55:52

    之前针对 AI 编程做的调研(不会写代码真有点吃力),
    虽然不是严格按照「用户层」「应用层」「模型层」「基础层」进行撰写,也分享出来给大家,有需要的朋友可能会用到:

    https://d76trpqunj.feishu.cn/docx/Uc8YdxzayoaamsxkV2ycxVQynDb
    作者回复

    太棒啦🙌

    2024-10-21 16:14:32

  • pre-geeker

    2024-09-19 22:05:21

    白板的例子有意思,最近一直在借助这方面的工具(flowith,funblocks),整理资料,启发思考, AI 是一个得力的助手和顾问
    作者回复

    感谢分享,这两个产品口碑都还不错,AI产品经理首先是产品经理,其次是会使用AI工具的产品经理,然后是AI产品经理,用的AI工具越多,会越有AI感😀

    2024-09-20 06:55:08

  • 石云升

    2024-09-19 10:58:18

    昨晚上听了音频,就知道老师的文章值得精读。文章里讲的四个层级结构很有用,让我很明确知道自己在哪些方向还需要努力,要更整体的来设计一个产品。
    作者回复

    希望能被更多的人看到~大家也可以把四层结构想象成洋葱,产品经理要具备一层一层剥洋葱来剖析产品,又要有一层一层组装洋葱的能力

    2024-09-19 23:08:04

  • Yuki

    2024-11-27 22:14:17

    1、算力算法数据层:
    - 算力就好像是硬件,做产品的时候需要关注算力的开销
    - 搞懂算法是为了能够更好的和技术沟通
    - 数据有公开数据,私有数据,行业垂直数据,要考虑怎么样做数据的处理,模型会有更好的表现,从哪里获得数据
    2、模型层:要考虑用什么样的模型,通用还是垂直行业专属的;要懂得怎么样做大模型的微调
    3、应用层:这一层要学会提示词工程和智能体的设计
    4、产品层:最快速,最方便,Don't make users think

    我学到的:
    - 刚刚意识到算力的花费很重要
    - 需要学一下大模型微调
    作者回复

    总结到位

    2024-11-28 11:25:17

  • kevin

    2024-10-29 09:02:23

    老师请教个问题,LLM已经出来近两年了,以自然语言交互为什么没有在APP上流行呢,比如向美团之类的APP,为何没有在搜索框中植入AI搜索,比如我们人类说订个带浴缸的房间并且有泳池的酒店呢,AI就去帮我们搜索,但目前还是依赖于人去操作界面进行搜索呢?
    作者回复

    哈哈,谢谢你把问题也放在这里,就着课程群里的回答,我来总结一下大家的讨论成果:
    1. 大船不好掉头(比如影响面太广,内部竞争,算力,平衡商家与平台的利益),这些创新点我理解最开始会从小团队出来,就比如早以前的比价网,什么值得买这种,都是站在三方来做。
    2. 模型能力现在确实还无法应对复杂场景,大家再等等。
    3. 用户惯性切换也需要很长时间,想想,如果美团做了,你真的会放心吗?
    4. 算力成本与收入比较,想想美团如果出现这个功能,有多少人会因为美团的这个功能而来到美团订酒店呢,对于用户来说,大部分人核心看的还是哪家平台的酒店更划算。而因此搭上算力,且模型还不准确,有点赔了夫人又折兵的感觉。
    5. 个人隐私保护:要做个性化推荐,就必须收集并使用用户的隐私数据,包括经济条件,以往的酒店记录,个人喜好....很多涉及到超高敏感个人隐私,收集必须合法合理,稍微不注意,就是网信办处罚;

    2024-11-01 13:06:56

  • 正在写prompt的UI设计师

    2024-09-27 23:17:34

    打卡第二节,目前公司在做AI生成式角色扮演,llm➕sd生图,作为一个UI设计师,又是生图和写prompt,一小部分需求产品也会丢给我,不过我基本功不太扎实,很多基础概念和层级不太了解,希望能跟二姐学习更多的东西,应用在实践中,之后可以朝AGI产品方向发展
    作者回复

    加油!

    2024-09-28 20:35:44

  • whole-heartedly

    2024-09-19 00:37:33

    我是第一个打卡的,nice
    作者回复

    一天打卡两节,勤奋技能get

    2024-09-19 23:29:38

  • 马林ÖöÖ

    2024-09-26 14:30:41

    尊敬的老师,我完成了这次的作业,请您在方便时给予点评,特别是用课程中的层级来对AI产品的拆分时有些部分感觉特别吃力,如算力、算法、用户层。总有一种似懂非懂的感受。
    用的是飞书文档,https://kx56sqwnsj7.feishu.cn/docx/AbJjdXsGuoPGhCxI6XpcyHsUnWf
    作者回复

    这个作业特别有诚意,wo先开放出来,还会持续点评

    2024-10-08 08:40:51

  • Geek4329

    2024-09-21 15:57:58

    AI口语,外教App
    一,算法算例数据方面:
    算法:语音识别算法准确性,NLP算法识别包括口语内容提供准确的反馈语音合成算法,如比如流畅度语音语调语速
    算力:根据用户数量级以及用户使用频率确定算力的冗余
    数据:考虑数据来源,数据规模,数据更新频率,数据质量
    二,模型层
    语言模型,比如语法,词汇,语义
    根据用户水平自适应调整模型
    记忆模型
    三,应用层
    提示词工程:学习引导,学习反馈如表达拓展,口语水平反馈
    agent:以语言导师的形式帮助用户进行NLP交互,个性化学习建议交互(不确定agent设计是不是指这个)
    四,用户层
    分析用户使用场景,需求
    分析用户增长趋势
    分析用户留存评估产品价值
    研究用户行为数据,分析偏好,制定优化方案

    无论是算力算法还是模型的调优,再到用户需求体验层面都很重要,但是更快出效果的是应用层,因为先吸引到用户,有更好的体验,用户才会考虑产品价值,是否继续使用。这是我的理解,如果有不合理的地方欢迎讨论
  • 星辰

    2024-09-20 17:18:23

    学完第二课,收获很大,给老师点赞👍
    作者回复

    还有第三课,第四课,第五课 .....第二十二课,每天学习一点点,收获时间的复利。

    2024-09-20 19:46:40

  • 小不懂

    2024-09-19 19:32:28

    让产品具备生命体的特征👍,学习沉淀、记忆思考、行动规划、反思成长…向二姐学习
    作者回复

    是的,产品本身是也是有成长性的,一是培育,二是也要允许它的变化,和客户一起成长

    2024-09-19 23:06:18

  • 九三二十七

    2024-09-19 18:07:34

    产品经理的核心技能就是看到一个产品,就去思考这个产品如何更好使用,能够分层级拆解产品

    我是产品经理,还是从应用层来入手这个产品更快。获得的正反馈也更高
    作者回复

    一看就是有丰富经验的产品经理,是的,应用层最能收获用户反馈。甚至一个产品界面,一个简单demo也是可以的。
    最近的一个感想是:也许不需要用户写提示词的产品可能才是一个好产品。

    2024-09-19 23:23:32

  • June

    2025-04-30 07:04:50

    交作业啦!简单拆解一款AI产品,有些细节还是想不到。

    • 产品名称:飞创AI记账
    • 产品介绍链接:https://feichuangtech.feishu.cn/docx/HLY1dIiCzoZPzOxjuQbckF1fnHe

    一、数据、算力、算法层
    1.1 数据 :批量生成的不同类别的账单记录(文字)、各种纸质票据拍摄的照片(图片)、支付软件账单截图
    1.2 算力:涉及到后期定价策略,不同记账的方式消耗的token量不同,其中文字轻量版(文字+语言,19.9元/年),文字买断版(文字+语言,59.9元终身),全能豪华版(文字+语言+图片,99.9元/年)
    1.3 算法:不详

    二、模型层
    产品宣传语写的是“飞书+Deepseek=自动记账+多模态智能分析,高效管理财务规划!”,这个产品使用的模型应该是DeepSeek。

    三、应用层
    Agent 设计方面,包含的功能节点可能有:大模型节点、语音转文字节点、图片OCR文字识别、飞书多维表格、意图识别

    四、用户层
    前台:使用飞书聊天框进行交互
    后台:飞书多维表格查看账单数据
  • 绵绵

    2024-09-19 10:21:29

    第三位打卡✌
    作者回复

    加油!

    2024-09-19 23:26:11

  • 韦恩W

    2024-09-19 08:11:01

    我是第二个打卡的吗?向二姐学习
    作者回复

    嘻嘻😁感受到大家的热情啦

    2024-09-19 23:26:57

  • Geek_238781

    2025-07-08 17:26:02

    我听得一知半解,但还是很努力在听,至于老师说让我们从哪一层开始,我肯定还是第一层开始
  • Geek_f1729b

    2025-06-12 11:06:08

    我们目前用到的AI产品都是接触到用户层,如何能深层次的去拆解应用层、模型层和基础层呢
    作者回复

    应用层可以想办法用提示词工程复刻一个类似的智能体,模型层和数据算法算力层在现阶段可以不用剖析了,因为已经属于基建了,用好他们就可以

    2025-07-24 14:29:38

  • 温迪2023

    2025-05-14 12:23:52

    请问AI Agent平台中,页面配置的提示词都属于 hard prompting吗?
    作者回复

    是的

    2025-07-24 14:32:23

  • 陈柒

    2025-03-16 20:29:06

    各种模型固然很强大,如何让模型更好的应用于各行各业,微调是关键。当然后续应用层跟用户层也是我们让产品更便于用户使用的关键。
  • 逗逼师父

    2025-02-26 16:17:03

    即梦AI,1. 用户层:做的工作是设计和用户交互界面和功能,比如提供输入区、参数设置区、结果区等;2. 应用层:定义输入、推理、输出,可能还根据用户的反馈(如下载动作)来标记模型结果的正确率(受欢迎程度)反馈给模型;3. 模型层:S2模型调参,根据反馈不断学习调整参数;4. 数据算力算法层:根据算力成本来推算收费情况,以及用户响应速度等。