首富从AI浪潮开始 第207节

　　他不回美国了。

　　决定之后，他和公司的CEO打了一个视频电话，说明了他的想法。

　　CEO在视频那边沉默了好久，最后连挽留的话都没有说，只是祝福他的父亲赶紧好起来，如果将来他想回来随时欢迎。

　　江松然注意到，这个当初和他一起在车库创业，合作了好几年的白人老头红了眼眶。

　　然后又拜托在美国的朋友打理一下房子，留意一下卖房的经纪。

　　从接到母亲电话的那一刻起，他的生活好像被从中间分成了两段。

　　前半段是他疯狂努力证明自己，想让父母骄傲的人生。

　　后半段是什么，他还不知道。

　　江松然在等着母亲来和他换班。

　　江松然无聊的刷着新闻，刷到一篇新闻——

　　《算力国产化，是未来五年最大的变量》。

　　看到这个标题江松然久违的在心里笑了一下。

　　这些媒体估计都不知道自己在说什么。

　　算力国产化，国家级战略资源，这话当然谁都会说。

　　但是对于像他这样专门干这一行的人来说，就像是个笑话。

　　无他，门槛太高了。

　　这就像是在说我们应该解决气候问题一样，是句正确的废话。具体要做什么？怎么做？花多少钱？周期多长？代价是什么？没人说的出来。

　　关掉新闻，江松然又在电脑上点开了一个新的页面，arXiv。

　　这是一个免费发布论文的网站，尤其是在AI和计算机系统这个圈子，几乎所有的新研究都会先往上面发布。不用等期刊评审，不用等会议接收，写完了发上去，当天全世界就都能读到。

　　圈里人管这叫“挂上去”。

　　每天早晨刷一遍arXiv，看看自己关注的几个分类底下有没有新东西，是这个圈子里研究人员大部分人的基本习惯。

　　江松然这个习惯保留了十几年，从上学的时候到谷歌再到创业公司。

　　回国陪床这两个多月，工作上的事他已经全放掉了，但每天刷刷arXiv的习惯还保留着。

　　目光快速划过，一篇新发布的论文题目吸引了他的注意力。

　　《On Adapting Memory-Efficient Attention to Non-CUDA Heterogeneous Accelerators: A Single-Operator Case Study》（非CUDA硬件上的注意力算子适配：一个单算子的案例研究）

　　作者只有一个名字，Wenyuan Zhao。

　　江松然在脑子里把这个名字过了一遍，没什么印象。

　　他本来想直接划走。

　　非CUDA适配这种东西arXiv上一搜一大把，大多是国产芯片厂出钱让自家工程师挂名做的样子工程，没什么真东西。

　　但他还是点开了。

　　因为是单作者。

　　非CUDA适配这种活儿，正常挂名至少四五个：硬件厂的人挂、软件团队挂、算法挂、做评测的挂。

　　单作者意味着两种可能，要么是没团队，要么是作者把所有人都压下去了，只给自己署名。

　　这两种可能都挺有意思的，值得看看这篇论文。

　　PDF加载出来。

　　摘要的第一句话是：

　　“本文报告了一款国产的非CUDA加速器上内存高效注意力机制的端到端实现：在单节点8卡配置下，吞吐达到对应cuDNN参考实现的83%，数值误差在2.3e-6以内。”

　　江松然把屏幕字体调大一点，接着往下翻。

　　背景写得简洁，没注水。

　　实现那一节贴了具体的优化方法和代码片段，不是泛泛而谈。

　　评估那一节有完整的对照、不同上下文长度下的吞吐曲线、还把每一项优化的贡献单独拆出来量化。这些是做评估的人最容易偷懒的几个地方，他都没偷懒。

　　最让江松然多看了两遍的，还是局限性那一节。

　　作者自己写道：“本工作只完成了单算子（SDPA），没涉及LayerNorm、Softmax、各类Optimizer等数十个其他算子；没涉及多卡通信库；也没涉及训练场景下的反向传播与混合精度，不构成一套可用的训练栈。”

　　非常诚实，不像是来刷脸的。

　　他又翻上去，看了一下团队，Source Intelligence AI。

　　是个没听过的公司。

　　江松然往后靠在折叠椅上，把眼睛揉了揉。

　　国内居然还真有人在做这种事。

　　这种吃力不讨好的事。

　　做出来发不了顶会，打不响知名度，也融不到资金，做的时候也没人知道你在做什么、做的有多难。

　　最关键是，因为其他的配套都没有，单做一个出来也是真没什么用。

　　这种活儿他熟，谷歌TPU团队的前两年就是这么熬出来的。

　　只不过谷歌当年有几百个工程师。

　　8张卡，一个算子。

　　江松然在心里量了一下，从这里到“能跑一个能用的训练系统”中间还差什么。

　　剩下的几十上百个算子，多卡通信库，分布式训练框架，编译器，容错和检查点。

　　每一项，都是三五十人的工程团队、两到三年的活儿。

　　他在硅谷那家公司就做这套东西，做了五年。

　　如果国内真能有几百个团队，都像这一个一样，安静地做这种没人鼓掌的事。

　　那国产化也未必没有可能。

　　可惜，没有几百个这样的团队。

　　正想着，母亲从外面进来了，一进来就开始唠叨。

　　“松然，累坏了吧，快回去睡会，你在医院陪床的时候也得注意休息，别你爸还没醒过来，自己就先病倒了……”

　　江松然也确实是累坏了。

　　他和母亲交代了几句，稍微收拾了一下，拿上电脑，走出了病房。

　　一路走到住院部一楼，他看到一个瘦高帅气的年轻人站在大门的位置，背着一个双肩包，好像在找人。

　　江松然正看着，正好那个年轻人也看了过来，好像看到了他，冲他笑着点了下头，向他走来。

　　那人的眼神亮的惊人。

　　江松然不确定他是不是冲着自己来的，也回应了一个点头。

? 第一百九十二章 要不，你请示一下？

　　江松然不太确定这个年轻人是不是找错了人。

　　“你好，请问是江松然博士吗？”

　　年轻人停在他面前两米的位置，没有再往前走，像是在确认，也像是在给他留出拒绝的距离。

　　“我就是，请问你是……？”

　　“韩路一，源智科技。”年轻人伸出手，“打扰了。”

　　江松然和他握了一下手，手劲适中，不紧不松。

　　源智科技，他莫名的有点儿耳熟，但又想不起来在哪听过。

　　“韩——先生。”江松然犹豫了一下怎么称呼眼前的年轻人。

　　他回国的消息这两个月越传越广，找他的人也越来越多，所以他最近已经拒接所有的陌生电话，推荐工作的邮件也基本不看了。

　　到江松然这个级别和履历，已经不是他找工作，而是工作找他了。他不可能每个信息都回复，忙不过来，猎头们和大厂HR们也都理解。

　　但被人找上门来还是头一遭，他好奇这人是怎么找到自己的。

　　“你怎么知道我在这？”江松然直接问了。

　　韩路一指着医院的大门说：“你没有设置朋友圈权限，照片里的床单上印了这家医院的名字。”

　　江松然回想了一下，他记得自己EMO的时候拍过病床，发了朋友圈，但是上面有什么字……他完全想不起来了。

　　但是能从这种细节追到医院来，这人还挺用心的。

　　江松然明白了对方的来意，也不打算纠缠，直接拒绝道：“韩先生，不好意思，最近找我的人比较多，我暂时没有——”

　　话说到一半，他兜里的手机响了。

　　江松然看了一眼来电显示，犹豫了一下，对韩路一说：“不好意思，我接个电话。”

　　韩路一点了点头，说：“您请。”