首富从AI浪潮开始 第301节

　　服务加载完成。

　　21B模型开始进入运行状态。

　　薛兆恒的呼吸微微有些急促。

　　他没有去手动输入问题，看模型的回复。

　　模型回复什么，是做模型的人该考虑的问题。

　　他只需要考虑硬件的性能和利用效率。

　　服务器里有硅明平时用来测试的脚本，可以大量生成模型输入，对模型的承载能力进行压测。

　　薛兆恒没有犹豫，开始运行测试脚本。

　　监控上的数值开始发生变化。

　　最先跳动的是显存利用率。

　　之前跑开源小模型，硅明自己的算子库连显存都分配不好，七成的显存白白空在那里。

　　现在这个数字远远超过了30%。

　　75%……82%……88%……

　　最后差不多稳定在了95%的位置。

　　压测脚本在没有检测到回灌压力之前，还在加大并发。

　　现在实时的吞吐量数字已经达到了二十五万词元/秒。

　　薛兆恒知道，同样的测试，上一次跑的时候卡在两万就上不去了。

　　在算力芯片上，真正能衡量软件水平的是一个关键指标，叫模型算力利用率（Model FLOP Utilization， MFU）。但是这个指标没有直接显示在面板上，因为要计算它需要使用芯片算力的极限值。

　　如果理论上芯片能跑1000 TFLOPS，你的模型实际只用到了200 TFLOPS，那MFU就是20%。

　　跑21B模型，每生成一个词元需要2 x 21B，即大概42 GFLOPs。

　　二十五万词元每秒对应 250000 x 42 GFLOPs = 10500 TFLOPS。

　　L100的理论算力是600 TFLOPS，32卡集群就是 32 x 600 = 19200 TFLOPS。

　　10500 / 19200 = 54.7%

　　54.7%？

　　薛兆恒心算完之后，总觉得自己算错了位数。

　　他在电脑上打开计算器，又重新算了一遍。

　　真的是54.7%。

　　要知道，英伟达最先进的H200显卡，MFU的极限水平也只在60%左右。

　　薛兆恒这个时候心跳快得就像他二十多年前和老婆结婚的那个晚上。

　　他一直以为L100的思路不对，硅明走到今天的这个地步，是因为芯片设计失败了。

　　但是这一刻，他意识到，他缺的只是一套软件。

　　有了这套软件，硅明就真成了中国的英伟达了。

　　薛兆恒缓缓起身，回头看向了韩路一，只见韩路一脸上正带着若有若无的笑容看着他。

　　“薛总，我没骗你吧？”韩路一说道。

　　薛兆恒依然能听到自己胸口剧烈的心跳声。

　　这是这么多年，他离自己的梦想最近的一刻。

　　算力国产化，真的在他手中实现了。

　　又深呼吸了几次，薛兆恒才开口道：“韩总，对不起。”

　　韩路一还没来得及说话，薛兆恒又接着说：“我为我刚才的傲慢向您道歉，这套软件的价值比L100大，比硅明大，我竟然以为您是个骗子。”

　　韩路一上前一步，拍了拍薛兆恒的肩膀，笑着说：“薛总言重了，你这样严谨的作风正是芯片研发中最需要的，我还指望你将来能带队做出更好的芯片呢。”

　　“况且，软件和硬件缺一不可，说不上哪个价值更大。没有L100，软件层也只是空中楼阁罢了。”韩路一给薛兆恒递了个台阶下。

　　但薛兆恒心里清楚，这个适配软件层不是两家合作攻坚出来的，而是源智的团队全靠逆向自己做出来的，能做出硅明的，自然也能做出别家显卡的。

　　真正稀缺的根本就不是显卡，而是这种快速完成软件层适配的能力。

　　硅明被选中，是他的幸运。

　　就这几百兆的适配层，U盘传输进来只要几秒钟，可是有了这几百兆的文件，硅明二十亿的估值怕是要翻一百倍以上。

　　要知道，全中国都在找一个突破英伟达体系的国产化替代方案。

　　而中国AI芯片市场的规模在3年前就达到了三千亿。

　　即使只拿下其中的百分之十，也是三百亿的营收，完全可以支撑起一家几千亿市值的公司。

　　薛兆恒虽然不是个成功的商人，但是毕竟在芯片行业做了这么多年，对这些数字了如指掌。

　　但是他没有对源智提供的文件动歪心思，反而在内心对韩路一的信任充满感激，要知道，他完全有可能偷偷留下备份，反手就把这件事告诉投资人。

　　但是薛兆恒知道，源智团队的技术能力，价值远高于这几百兆的文件。

　　让硅明和源智合作，才有可能继续探索国产算力的极限。

　　当然，薛兆恒不知道的是，韩路一之所以这么放心的把U盘交给他，是因为机房里的一切电子设备都在视界的监控之下，即使他真的想偷偷备份一份适配文件，也会在第一时间发现并删除。

　　还好，他没机会发现这个魔法一般的防御机制了。

　　薛兆恒把适配文件删除，集群重启之后，和韩路一一前一后走出了机房。

　　时间已经是晚上八点了。

　　“韩总，时间有点儿晚了，您今天又舟车劳顿，我就不留您吃饭了。”薛兆恒说这话的时候脸上带着不好意思的干笑，“您好好休息，明天看完库存，我再请您吃鹏城的特色。”

　　说起来，薛兆恒这个创业公司的CEO，过得可比韩路一寒酸多了，不仅没有秘书、助理，连司机也没有。

　　他这么着急要见韩路一，本来就有失礼数了，又拖到这么晚，想安排个宴请，身边连个人都没有，只好尴尬地送未来老板离开。

　　好在韩路一也不在意这些。

　　在他看来，工作优先，能把薛兆恒拉进队伍，将来死心塌地地搞研发，这几个小时就没有白花。

　　硅明的交易成功之后，至少汤圆短期之内的推理算力是解决了。

　　薛兆恒一直送着韩路一上了车，车门关上之前，韩路一再次看了一眼薛兆恒的属性面板。

　　【薛兆恒】

　　【研发（芯片）SS｜管理D｜稳定SS】

　　【特技：芯片研发｜供应链管理】

　　【词条：从无到有｜凤雏】

　　“韩总，回酒店？”刘彧坐在副驾驶上，回头问了一句。

　　韩路一回头看向陆明洲：“明洲，你来了两天了，吃过什么好吃的馆子没？咱们先去把晚饭吃了。”

　　说完，韩路一看向窗外。

　　卧龙凤雏，得一可安天下。

　　现在两人都在我手，英伟达，你又将如何应对呢？

? 第二百六十九章 你给的价格太低了

　　四月，按说还是春天，京城的寒气还没完全退去，鹏城这里已经湿热得不像话了。

　　车从硅明开出来以后，吴桐按照导航把车开到了一条老街附近。

　　街景和刚才的科技园区一点儿也不一样，路边的车和自行车、电动车杂乱地停在一起，反而有种诡异的秩序。

　　烧烤摊、潮汕砂锅粥、海鲜大排档连成一片，空气里混着炭火、蒜蓉和啤酒的味道。

　　刘彧坐在副驾驶上，回头问：“韩总，真在这吃？”

　　韩路一看了看窗外，感觉已经饿得流口水了。

　　“我和明洲先去找地方，你们把车停好一起过来。”说完他打开车门跳了下去。

　　陆明洲笑了笑，也跟了出去。

　　吴桐把车停到路边，和刘彧走回来，看到韩路一和陆明洲正坐在一家大排档。

　　老板娘正站在旁边点菜。

　　“我们先点了，你们来看看，想吃什么再加。”韩路一招呼了一声。

　　老板娘报了一遍点好的菜。

　　砂锅粥，白灼虾，椒盐濑尿虾，蒜蓉生蚝，炒花甲，还有湿炒牛河。

　　刘彧听完啧了一声：“好家伙，韩总，您这点的是痛风套餐啊。”

　　旁边的吴桐问了一句：“什么意思？”