首富从AI浪潮开始 第507节
“对了小姜，鼎盛那边的授权合作的不错，最近昆仑和青岳也都在联系我，也想拿授权，你最近有时间去对接一下，哦对了，我们和青岳合作的关系一直不错，分成比例可以让的更多一些，你自己把握。”
突然天降任务，姜亦心心里一苦，她刚刚还在烦恼手里的活儿太多的问题呢。
而且这种和其他大厂对接的活儿，恰好是上次跟苏总讨论过的，没办法授权给别人干的活儿����倒不如说，这已经是韩总授权过来的了。
韩总，您是不是太信任我了？
姜亦心一边盘算着和这两家云服务厂商对接的优先级，一边说道：“好的韩总。”
韩路一坐下之后，例会进入了下一个环节，江松然开始汇报算力的部署进度。
自从上次的国产算力联盟成立以后，基础设施团队一家一家的过去协助那些计算卡厂商做软件适配，忙得脚不沾地，进度也确实喜人，在澄江科技和龙门半导体之后，又有两家国产厂商的计算卡实现了底层到起源开源抽象层的适配，已经可以让汤圆1.0在上面跑推理了。
但是问题是这两家的运算效率甚至比龙腾2000的63%还要低，虽然采购了不少，但离能够实现算力自由还差了不知道多少。
听完江松然的汇报，韩路一皱了皱眉头。
他周五的时候还答应了赵文渊要去解决算力短缺的问题，腾一万张L100来让他做汤圆2.0的训练。
现在看来，如果只靠国产算力联盟的这些进量，能腾出一两千张还有可能，一万张，恐怕短期内是没有希望了。
但是有没有希望，都得再想想办法才行。
韩路一可不是轻易被困难难倒的人。
如果实在不行，其实韩路一还有两条路可以走，一个是想办法绕开限制采购英伟达的卡来过渡，如果这么做确实让人心里不爽，以前国产的推理和训练栈都没有跑通，用英伟达生态是迫不得已，现在起源手里明明有了跑通了的技术栈，却要因为产能的原因用回英伟达，给人一种越活越回去了的感觉。
而且起源集团现在还在美国商务部的实体清单上，这种绕过限制购买是名副其实的顶风作案，甚至还给了美国人跨国执法的借口。
至于另外一条路，就是把汤圆1.0部署在其他友商的硬件上面，这里主要担心的是模型参数外流的问题，不过如果是为了训练汤圆2.0，可能这个风险也能承受。
要聊的事情多，一个小时过得很快，起源集团的高管周例会结束了。
苏念念做完最后的总结之后，韩路一突然说道：“文渊，老江，你们两个留一下，其他人可以先散会了。”
他的话说完，其他人都迅速起身离开了会议室，不敢耽误韩路一开下一个会。
而从京城视频接入的赵文渊听完马上就知道，接下来要谈的是算力的问题了。
第四百四十章 系统一和系统二
前后不过两分钟的时间，大会议室就清空了，只留下韩路一和江松然两人。
视频里的赵文渊开口问道：“韩总，是因为算力的事儿？我刚才听老江的意思，进度好像不太够吧？”
江松然点了点头，确实不够。
现在是巧妇难为无米之炊，调度架构做得再好，总的计算卡就这么多张，很难再腾挪出更多的算力了。
韩路一说道：“把你们两个留下来就是想聊这件事，老江，上次咱们做的调度优化，你先给文渊讲一下。”
韩路一说的是在汤圆1.0模型的API正式发售之前，基础设施部门在任务调度上做的一些新的优化架构。
当时碰到的难题是每一个推理任务进来，服务器端都没办法判断任务的复杂程度，也就没法分配合适的资源，如果把大任务分配给了小资源池，任务完成不了，就要重试；反过来，如果把小任务分配给了大资源池，实际上用不上那么多算力，就造成了资源的浪费。
在韩路一的建议下，江松然引入了用汤圆自身来进行调度判断，这种判断任务当然都是小任务，初次判断之后就能规避很多失败场景。因此在相同的算力下，起源的推理集群能支持的并发量直接增加了三分之一。
但这是江松然他们在应用端对汤圆的一种应用方式，现在韩路一把赵文渊叫过来，是想看看在模型层面上能不能再做一些优化，把性能再提高一些。
没办法，如果起源也能像谷歌、OpenAI一样算力富裕，甚至能有鼎盛那么多算力也行，那么这些在软件层面的优化就并不急迫，甚至不做也行。
但是现在硬件方面的算力捉襟见肘，就只能从软件层面想办法了。
江松然点了点头，把困扰基础设施部门许久的问题说了出来：“用汤圆来做初次的调度判断确实极大的提高了资源分配的效率，但是我们也逐渐发现了两个问题。”
“什么问题？”赵文渊问道。
“速度太慢了。”江松然说道，当初韩路一提出用汤圆模型来做路由的时候他就想到了这个问题，每秒钟数万的并发请求，如果每一个请求都要提前过一遍汤圆，相当于直接把请求数翻倍了。还是韩路一提出了一个折中的方案，对于多步骤的请求，只对第一步进行任务难度的估算。
但即使是这样，一次估算也要消耗数百毫秒的时间。可别觉得几百毫秒很短，在高并发场景下，几百毫秒的延迟可能就会引发雪崩效应����延迟导致请求超时，超时又会引发重试，无效请求增多，甚至导致整个服务不可用。
“赵总，汤圆本身是大参数模型，即使是采用了稀疏架构，一次几百毫秒的用时也不是调度层能够承受得起的。慢是第一个问题，还有因为慢导致的第二个问题。汤圆用来做任务预测精度虽然高，但是延迟太长，我们只敢在任务链开始的时候加上，之后就只能依赖第一次的预测结果，可是有些用户请求是在交互的过程中突然增加了复杂度，这就导致还是使用第一次的测算结果就导致不准。”江松然说道。
韩路一在旁边也听懂了，江松然虽然说了两个问题，但其实本质还是速度慢。
因为速度慢而不敢每次调度都调用一次，导致精度漂移。
“文渊，这就是我把你专门叫过来的原因，”韩路一开口说道，“上次我们聊过的，给汤圆做一个轻量版，你觉得能不能解决这个问题？”
在专业旗舰版被验证过性能之后，再推出参数更小、能力稍弱但是成本低很多的轻量版本来就是业内通行的做法。
一般这种轻量版都是通过蒸馏原始的旗舰模型后训练出来的。所谓蒸馏，指的是把一些高难度的问题输入到旗舰模型中，让它给出答案，再用这些问题和答案作为训练集来给轻量模型做后训练，这样就能以较低的成本让轻量模型拥有旗舰模型70%到80%的能力，实在是一种比较有性价比的做法。
当然了，你也不一定要去蒸馏自己家的旗舰模型，用同样的方法去蒸馏别家的旗舰模型也是可以的。自从汤圆API开放以来，起源集团这边已经发现并且捕捉了不少试图对汤圆1.0进行蒸馏的行为了，很多请求都来自于美国。
听了韩路一的话，赵文渊沉吟了片刻。
轻量模型确实在这方面有所帮助，甚至于可以考虑像当初的汤圆0.1那样，使用一个极小的模型来进行任务复杂度预测����只要能保证预测精度不会掉得太离谱。
但是����
赵文渊开口说道：“你们有没有听说过系统一和系统二？”
韩路一和江松然对视了一眼，同时点了点头。
系统一（System 1）和系统二（System 2）这个概念源自于诺贝尔经济学奖得主丹尼尔��卡尼曼的研究，在他的科普畅销书《思考，快与慢》里有过详细的阐述。
人的大脑在思考的时候有两套系统，一种运转极快，非常善于快速做出判断，但是因为没有激发深度思考，也比较容易被噪音干扰，这个叫做系统一；另外一种模式叫做系统二，需要人主动花费精力仔细思考，花的时间更长，最终得出的结论也更准确。
这本书当然不是计算机领域的著作，但是它足够畅销也足够有名，两人恰好都读过。
其实赵文渊和他的研究者同行们当初能够提出思维链（CoT，Chain of Thought）的概念，也正是来源于对人脑系统二的借鉴。
只是不知道他突然提示这个来干什么？
韩路一说道：“这和我们讨论的内容有什么关系？你是想说，我们可以借助系统一来进行对任务复杂程度的快速估算？”
说到这，韩路一突然意识到什么，问道：“我们刚才讨论的用轻量模型来做路由，不就是使用的系统一的思路吗？”
哪知道赵文渊摇了摇头，说道：“韩总，您说的对，但是还不够，您知道在人脑的决策系统中，系统一之所以能比系统二更快，还有一个重要原因是什么吗？”
第四百四十一章 新模型，新名字
“什么？”韩路一问道。
他知道由于大模型本身和人脑的相似性，很多研究人工智能的计算机科学家都会阅读一些脑科学的书籍，他自己也看了几本流传广的畅销书。
但是真到一些细节方面他就抓瞎了。
旁边的江松然也摸不着头脑。
但是看着赵文渊在视频里兴奋地样子，两个人都意识到，这位研究院的院长恐怕还有什么新东西能拿出来。
“是决策的可选项本身。”赵文渊说道，“系统一最擅长做的是是否类的判断，那种几选一的也可以，但是一旦决策的可选项超过一定数量，系统一几乎不可能做出选择。”
“我给你们举个例子，比如说我现在问你们想不想喝豆汁儿，你们是不是立即就可以得出答案？”
江松然还没什么反应，韩路一的脸色已经变得难看了。
这个确实是系统一就能得出答案的问题。
“如果我问你Vim好还是Emacs好，你是不是也能马上就得出答案？”赵文渊接着问道。
韩路一和江松然几乎同时出声。
“当然是Vim。”这是韩路一说的。
“Emacs。”这是江松然说的。
两人又飞快地对视了一眼，只是眼神中的含义并不相同。
韩路一的眼神中分明是：“原来你是个Emacs党。”
江松然则有些惴惴不安，竟然在最不该站错队的地方站错队了。
故意问出这个问题的赵文渊此时正在偷笑，他早就通过观察发现两个人对代码编辑器的偏好不同了。
“但是如果我现在问你，在二十种果酱里选一种，你几乎不可能一瞬间就做出选择；如果我让你现在写一篇两百字的文章，别看只有两百字，这也不是系统一能够完成的任务。你们看到问题的所在了吗？”赵文渊说道。
韩路一思考了一下，说道：“你是指输出的格式吧，无论是是否问题还是二选一问题，他们的输出格式都极为简单，不需要一个词元一个词元的进行生成。”
江松然在旁边补充道：“听起来还有答案域的问题，输出的答案域覆盖得越广，计算也就越复杂。”
两人这个时候都意识到赵文渊为什么会把系统一和系统二的话题拿出来讨论了。
因为对计算任务进行复杂度预测，然后分类，然后规划调度，这个任务天然就是一个系统一的任务，答案域极为狭窄，无非是简单、中等、复杂三档，想要分得再细致一些，五档也绰绰有余了。
韩路一开口问道：“所以这类任务，有比使用汤圆的轻量版更好的解法？”
视频里的赵文渊露出一副高深莫测的笑容：“有的，韩总，有的。”
然后他开始解释道：“当初Transformer架构刚出来的时候，用的是编码器-解码器（Encoder-Decoder）架构，但是现在的类GPT架构的大模型，包括汤圆，全都使用的是只有解码器的架构。这当然是因为这个路线足够优秀，能够解决非常复杂的问题。但是实际上不同的路线适用的是不同的问题，我们刚才讨论的这种分类问题，有一种更适合的架构，就是只有编码器的架构。”
江松然此时惊讶地出声道：“你是说BERT？”
韩路一慢了一拍才反应过来。BERT是谷歌在2018年提出的一种技术路线，在GPT出来之前也曾经在机器学习领域非常热门，但是随着类GPT模型成为市场主流，现在已经渐渐没什么提起了。
“你是说？”韩路一问道。
“传统的BERT大概是在几亿参数这个级别，而且因为不需要自回归生成预测，它不需要反复地进行前向运算，只需要一次就能得出结论，对于我们刚才说的分类任务，完全可以做到50毫秒以内。”
“多少？”江松然的呼吸都变得急促了。
“还不止，我刚才说的是通用分类器，使用这个思路，我们完全可以训练对调度任务进行特化的分类器，汤圆API开放到现在我们积攒的调度数据就足够进行训练了，这种情况下我们连几亿的参数都不需要，可以把参数压缩到千万这个级别，这种模型的一次运算����”
上一篇：这个导演不讲规矩
下一篇：我在中东造军火，被全球通缉？