你好,我是编辑宇新。
为了帮助大家拓宽对行业趋势的认知,扫除迷茫,明确自己的成长路线和提升方向。4月上旬,极客时间组织策划了《21天职场突围特训营》,张雪峰老师作为受邀导师,和同学们分享了他对工程师成长和价值实现的思考。直播分享中,张雪峰也聊到很多他对GPT、AGI的思考,为此我们整理了这篇加餐,希望能对你有所启发。
极客时间:Open AI这家公司为什么会成功?
张雪峰:Open AI我不想太多讲了,网上资料很多。我就聊聊对我来说触动比较大的。
对于圈外人,感觉好像ChatGPT是去年底、今年初爆发的,怎么地球上突然多了一款从来没见过的东西。而圈内的人在2020、2021年,从ChatGPT-3开始就已经隐隐约约预感到世界可能会改变了,但大家并不坚定。
那Open AI这家公司牛是牛在什么地方呢?他非常坚定。他牛在不是隐隐约约感觉,而是坚信我一定能走下去。
这里我推荐一个文章 OpenAI 何以掀翻 Google 布局多年的AI大棋?作者是之前Google的工程师。

虽然我们感觉这家公司是“突然成功”,其实并非如此。我们去了解一下就会发现,它从1.0开始就很坚定。整个公司才几十个人,现在可能人多一点。Midjourney核心大概只有十个人,却做出了这么神奇的东西。这家公司一直在专注做事情,所以才会厚积薄发。
最重要的就是“第一天就扬言剑指AGI”这一条。当然说第一天夸张了些,他们也做了一些简单的探索。后来,Open AI的首席科学家Ilya(其实最主要就是这个人)带领着团队就很坚定地走到最后。
还有一点值得说的就是暴力美学。暴力美学主要是什么呢?是你需要有资源,咱们现在看最重要的是要有钱嘛。然后还有一些资源是有钱也买不来的,比如GPU现在你有钱也不一定能买到,还有包括微软的支持,这些都很重要。
极客时间:Yann LeCun(图灵奖得主、Meta 首席 AI 科学家)说OpenAI就是个巧妙的组合,感觉这个门槛并不高?
张雪峰:刚才说了,Open AI用的都不是什么新技术。Yann LeCun,他很不屑Open AI这种做法,但是他说出了真谛,那就是组合。
不过在我看来,实际上排列组合这个事情的门槛非常高。就像我们之前做业务系统也是一样,不可能有足够时间通读源码,然后再做排列组合的。有可能架构写得很好,但排列组合就是存在问题。组合人人都能做,但巧妙的组合,地球上现在只有Open AI 这一家公司做出来。
我们平时用技术赋能业务是很纠结的,包括架构,也包括扩展。之前我们也非常想把系统做得无所不能,也不要SDK了,也不要各种丑陋的定制了。但现在GPT现在通过一种很不可思议的方式,就搞定了需要沟通聊天的这部分事情(Plugin对接是另外一回事)。
搞排列组合很难。一方面,选择特别多,我们没时间去一个一个过。另一方面,你要有前瞻,你不一定看完代码,但你自己要有一种感觉“这个就是未来”。所以回看第一天剑指AGI,就是有种不成功就成仁的气魄。所以,排列组合真的有门槛。
极客时间:在你看来,ChatGPT的核心价值是什么?
张雪峰:如果你感觉ChatGPT就说给我生成一堆花哨的东西,帮我解决那些文字的工作,那就想错了。ChatGPT就相当于我们的大脑,只不过这大脑现在发育还在幼儿园的阶段,但它是发育正常的。
如果非要说它有几个要素,我认为是这几点。第一,它有上下文感知。这个很重要,因为聊天就是上下文感知。第二点就是推理。第三才是它有很多的经验,当然这个经验是历史经验,不能去创造未来啊。我认为它现在所谓的创造都是虚假的,是过去的组合或者模糊化处理。
所以ChatGPT核心价值不是任务分解,那只是它的一个产物。这里面要讲一讲,技术人员可能会有个误解。我问了一些人,大家都认为ChatGPT很厉害啊,训练一堆什么爬虫的数据。但如果它只训练这些,比如说互联网上的文章,甚至是图片、视频,那么它只能做到上下文感知,还做不到推理。
极客时间:ChatGPT核心或大模型核心的推理能力是怎么来的呢?
张雪峰:我认为至少ChatGPT模型或3.5以后的模型,推理能力主要是来自代码。
微软真的很有远见。之前有一次我和朋友吃午饭的时候聊过,我们真的感觉脊背发凉——Satya(微软 CEO Satya Nadella)买GitHub这时间点非常巧妙,跟OpenAI开始绑定Azure非常接近,而且好像当年盖茨是有点反对的。
我们作为程序员,当时是怎么想的?微软买GitHub很牛、很有前瞻,这时想把我们这些程序员都买到微软阵营对吧?至少你会多用用Office这些东西,或者用Azure。
但是今天我们再回过头看,就会发现并不是这样。人家已经想到比我们高两个Level的层次。他花了这么多钱买根本不是为了绑定你程序员,这不重要。
买了GitHub就是为了训练ChatGPT的推理能力,这个是比上下文感知更厉害的能力。上下文感知还是模糊的,因为聊天可以是含糊的。但推理能力相对严密一点,有了这个能力,ChatGPT就可以调API了,真的非常非常牛啊。
极客时间:你觉得GPT是未来么,它现在有什么局限?
张雪峰:GPT肯定不是未来,即使到了AGI,我们也可能用其他方式实现AGI。即便如此,是不是能解决所有问题呢?也不是。我们也看到了,存在很多GPT搞不定的事,必须用很多其他的办法。
目前的AGI,也就是大家看到的GPT-4。后面图里列出来的这五个方面它是搞不定的。

这里我单独说一下第四类。像性能调优这样的工作,工程师现在还很难被取代。性能调优这个事情很难。不是说某行代码是不是写得烂,可能是局部代码没有太大问题,但是现实里可能涉及到很多其他方面,比如配置、虚拟机、Kubernetes的调度、API之间互Call等等。让GPT融入整个大系统里,今后可能存在想象空间,但现在肯定不行。
还有模型调参,这个很头疼,现在都是人肉。哪怕现在号称有AI自动调参,但还是不太可靠。
规划调度这方面GPT也做不到,我们团队以前就搞规划调度,这件事很难,只能做很局部的,我们的外卖的复杂度是滴滴的四个数量级。
最后再说说局部提效,辅助生产力升级这件事。我认为AGI首先是效率的升级,其次作为一种辅助。很多同学担心生产关系。比方说有个同学提问,之前我们小组有5个人,用了Copilot一段时间止呕,现在感觉只需要两个人就可以了。那么这是不是改变生产关系?
我觉得你这不是改变生产关系,这是改变生产力。改变生产关系是说不需要这五个人了啊。但即便是那个时候,所有开发角色都被取代也是不可能的。
极客时间:AGI会取代工程师么?这个问题大家非常关心。
张雪峰:我认为AGI不会取代工程师。
我们也不一定要去看网上文章,我们Copilot用多了就能有体会。就拿性能调优工作这个领域来说,这里我说的调优不是一眼能看到的问题,比如某段代码有没有bug,而是很多无法一眼看出的问题,包括联调、跨进程、跨机器、跨集群乃至跨角色的问题,这些东西都很难系统化。
现在Token都不够,AGI怎么做性能调优呢?所以我们暂时不用考虑这样的问题。

我在PPT里列出了四个方面。如果在这四个当中,至少有一个你很enjoy,那AGI都不会取代你。但如果这四个方面你都不enjoy,还是安于现状,那你慢慢失去光芒的风险可能还是挺大的。
与其担忧取不取代的问题,不如想象一下GPT未来的影响。以后都是API的世界了,GPT出来以后,只有API还有价值。当然胶水代码也会有点价值,但价值不大。以前你需要吭哧吭哧地写代码,GPT可以给你生成代码,而且质量问题不用太担心。
我认为这是一个开发范式的巨大转变。这一次的范式转变远远超过以往的面向过程、面向对象、面向领域(面向领域虽然不是开发语言,但也是一种范式)。
因为这个开发范式,已经不是我们工程师引以为傲的严密逻辑严密代码,不能出任何错的这种方式,它是一个更高阶的抽象。哪怕它可能会有一些偏差,但是如果效率提上去的话,其实ROI还是升高的,也就是带来的收益会超过损失。所以大的方向就是抽象度越来越高,交互越来越简单。
精选留言
2023-11-12 23:28:33