首富从AI浪潮开始 第414节
然后他又转向沈仲和:“这位是云垠的老板,刘总,今天听说我们要做大规模测试,刘总特意赶过来提供支持的。”
其实韩路一心里知道,特意赶过来是真,却不是为了互联协议的测试。
源智拿下国网订单的事情,在圈子里已经不算是秘密了。
刘然作为和电力系统接触颇多的生意人,第一时间想的就是怎么再和韩路一拉近一点儿关系。
上次云垠的技术员给源智的服务器接错线的事,他还记忆犹新,所以听说韩路一过来的第一时间他就赶了过来。
刘然已经打定了主意,今天无论如何要把源智的人服务好了,确保今天这个测试不能从云垠这边出了纰漏。
“韩总,一会儿你们要做测试,可能涉及什么商业机密,我在也不合适,您有我电话,有事儿随时联系我。”刘然说完,返回了自己的办公室。
韩路一带着源智的一行人来到了L100集群所在的数据中心大楼。
众人先来到操作室,和海城那边连上线。
江松然也已经远程准备就绪,在网络路由层把第一和第二两个计算集群标记为下线。
沈仲和开始带人进行固件更新操作。
这个当然没有必要一个一个来,但沈仲和决定先从两个开始。
在实验室里当然已经做过很多次测试了。
但是在生产环境,再谨慎都不为过。
软件、硬件,人可能在任何地方出错。
沈仲和自己就有过前车之鉴。
当年他在中科院做研究的时候,组里要求固件必须手动刷,一个一个刷。
年轻的沈仲和觉得这也太傻了,写了个脚本刷固件,没想到脚本里的主板型号笔误写错了,结果固件写到一半报错,把整个机柜刷砖了。
他被当时的导师骂了个狗血淋头。
但现在回想起来,沈仲和的心里已经没有埋怨了,反而怀着一丝感激。
人看见别人犯错的时候,总觉得这个错误很低级,我不会犯。但不论看别人犯多少次错,都不如自己真的犯一次长记性。
互联协议是写在非常底层的逻辑,如果一个搞不好,把这一千多张计算卡给搞成砖头了,那乐子可就大了。
沈仲和带的团队默默地在工作,只偶尔进行两句必要的交流。
韩路一在旁边看着,也不说话。他能看出沈仲和团队都憋着一股子劲儿呢,这种劲儿,他自己刚创业的时候也有过。
他回头看了赵文渊一眼,在心里默默想道:老赵的管理水平其实也不差,一个刚加入的新团队,有这么强的战斗力。
就看今天的测试结果怎么样了。
很快,一台八卡服务器已经完成了升级,测试显示单服务器内连接速度比用原生的PCIe协议高了将近30%。
这已经是非常可观的提升了。
和实验室里的数据非常接近。
沈仲和在请示了韩路一之后,把下一步测试规模提升到了两台服务器。
测试正常。
然后扩展到八台。
正常。
三十二台。
正常。
六十四台。
依旧正常。
六十四台八卡服务器,对应的就是五百一十二张计算卡的集群,也就是源智现在正在使用的集群规模。
在全部替换为HL-Link私有协议之后,通讯效率比之前提升了四点七倍。
测试数据出来之后,后面看着的刘彧吓了一跳,还以为是测试出错了。
但他仔细观察韩路一、赵文渊和沈仲和的表情,似乎这个数据完全不出乎他们的意料。
刘彧有点儿迷惑,怎么一台服务器测试的时候才高了三成,加到六十四台之后反而变成了四点七倍?
他看着互联团队忙碌的状态,自然不好上前打扰,但是韩路一和赵文渊都在旁边没事干,于是刘彧凑上去小声问道:“赵总,刚才的测试不是才提高了三成吗?怎么这次一下高了快五倍?”
赵文渊闻言,也压低声音回复道:“咱们之前用的是PCIe的原生协议,是为应对各种硬件之间的通讯设计的,里面有很多浪费,拓扑结构也没有优化。这个协议当初设计的时候就是为了给个人电脑用的,根本没考虑过大集群的问题,现在用它来做集群间通讯,很多时间都用在寻址绕路上了。现在装上的新协议,专门为这种全局通信设计的,规模越大,优势越明显。”
这其实不是赵文渊的专业,但是因为当了研究院的院长,他要统筹所有项目的进度,这些协议的知识都是他最近恶补的。
韩路一在旁边听着两人的对话,心里也在默默盘算。
这个五百卡集群已经完全升级到HL-Link互联协议,通讯效率是之前的四点七倍。
即使以现在的状态把使用新协议的五百卡集群重新上线,它也能用相同的硬件资源支持更高的并发、更多的用户请求。
但是这可不是今天测试的核心价值。
此时,互联组已经把另外一个五百一十二张L100组成的集群也完成了升级。
他们都在等着下一步命令。
沈仲和站在原地,深吸了一口气。
后面坐着的韩路一和赵文渊目不转睛地盯着测试现场。
视频会议另一边的江松然也屏住了呼吸。
上一次,就是在这一步,组成千卡集群的尝试因为跨排链路拥塞,造成整个集群连锁反应式的崩溃。
当时,随着两个五百卡集群相连,整个监控屏幕一瞬间就飘红,仿佛火警现场。
也是那一次,他们发现了原生通讯协议是阻止L100组成更大集群的瓶颈。
现在,在L100集群装备了新的通讯协议之后,第二次尝试要开始了。
随着沈仲和按下回车,采用全新协议的两个L100五百卡集群并入了同一个逻辑集群,各个节点开始重新构建新的拓扑结构。
监控屏幕上的数字从【512】【512】变成了【1024】。
全新集群上线,江松然在远程运行了第一个模拟训练任务。
监控屏幕中,显存使用率开始上升。
卡间通信的带宽占用也在同步上升。
但是很快就稳定在了一个安全的区域内。
两分钟后,训练任务完成。
显存使用率和带宽占用也开始同步回落。
千卡集群的测试成功了!
看到这个结果的一瞬间,赵文渊就转头看向了韩路一。
只见韩路一的脸上云淡风轻,仿佛对这个结果早有预料。
啊,早该预料到的。
越是高兴就越是装的若无其事的样子。
赵文渊无奈地看向背对着他的沈仲和,只见沈仲和一动不动,整个人仿佛呆住了。
赵文渊起身走到沈仲和旁边,拍了拍他的肩膀,说道:“老沈,成了。”
沈仲和这才如梦方醒。
真成了。
研究了这么多年的屠龙技,如今真的要去屠龙了。
……
第一次连接成功,只是证明了HL-Link在L100上的可行性。
但是学术问题和工程问题最大的差别就在于稳定性。
在把HL-Link推广到现在所有的L100集群上,甚至在新生产的L100计算卡上直接预制之前,还需要再进行详细的测试。
沈仲和带着手底下的人已经在干活了。
比如随机把一个节点断电,模拟真实环境中出现坏节点的情况。
现实环境不是理论,什么突发情况都有可能发生,不能等真发生了才发现这种情况没考虑过。
但是最重要的结论已经验证了,韩路一不打算在这一直盯着了。
他走之前特意和沈仲和聊了两句,鼓励他好好工作,之后下一代芯片的研发、更大规模的集群组网,都缺不了互联团队的贡献。
然后韩路一和赵文渊一起走出数据中心的大楼,又特意叮嘱了他几句:“这次几个团队都有大突破,你带他们组织一个庆功宴,庆祝一下。另外,我给你批一笔项目奖金,你来分配一下,要公平。”
赵文渊听到任务,没什么特别的反应,应道:“好的韩总。”
韩路一看他好像没明白,给他提了个醒:“要你亲自去公布,亲自去发,明白吗?”
没有什么是比发钱更能笼络人心的。
赵文渊这才有点儿反应过来。
上一篇:这个导演不讲规矩
下一篇:我在中东造军火,被全球通缉?
