学霸的模拟器系统 第260节

　　但现在的他，还是个被主流学界排挤的“顽固分子”。

　　他的卷积网络虽然在90年代成功识别了手写数字，但因为算力限制和理论偏见，已经被学术界冷落了快十年。

　　林允宁走过去，站在那张海报前。

　　“局部连接，权值共享。”

　　林允宁看着海报上的结构图，轻声说道，“先生，您是在模仿人类视网膜的感受野（Receptive Field）。这才是图像处理的本质，而不是把像素拉成一条长长的向量去喂给SVM。”

　　杨立昆愣了一下，转头看着这个年轻的亚裔面孔。

　　“你看得懂？”

　　他的英语带着浓重的法国口音，“现在这帮年轻人，都在忙着推导核函数，已经没几个人愿意看这种‘老古董’了。他们说这东西只有在识别邮政编码时才有用。”

　　“那是他们还没意识到算力爆炸的临界点快到了。”

　　林允宁指了指不远处正在展示GPU渲染技术的NVIDIA展台，“当显卡的浮点运算能力再翻两番，您这个‘老古董’就会变成吞噬一切的巨兽。到时候，那些漂亮的核函数在千万级像素面前，连跑都跑不起来。”

　　杨立昆的眼睛亮了。

　　那种眼神，就像是在茫茫荒原上遇到了唯一的同类。

　　“你是哪个实验室的？多伦多的？还是蒙特利尔的？”

　　“芝加哥大学，以太动力。”

　　林允宁伸出手，“林允宁。我也在做神经网络，不过不是卷积，是注意力机制。”

　　“注意力？”

　　杨立昆皱了皱眉，“那个O(N^2)复杂度的东西？想法不错，但那是死路。序列一长就崩了。”

　　林允宁笑了。

　　这已经是他在这个会场里第二次听到这句话了。

　　“教授，如果我把那堵墙拆了呢？”

　　林允宁从口袋里掏出那张他在飞机上写过的餐巾纸，递了过去，“如果复杂度变成了O(N)，您觉得它还是死路吗？”

　　杨立昆接过那张皱巴巴的纸。

　　起初，他的表情是漫不经心的。

　　但当他的目光扫过那个利用核技巧拆解Softmax的公式时，他拿着饼干的手停在了半空中。

　　一秒，两秒，三秒。

　　法国人的瞳孔剧烈收缩。

　　“Merde...（见鬼）”

　　他低声爆了一句法语粗口，“这是……这是作弊！你把非线性项提前了？等等，这在数学上是成立的……只要那个映射函数φ存在……”

　　“明天上午十点，C厅。”

　　林允宁抽回那张餐巾纸，像是收回了一张藏宝图，“我会展示那个φ函数到底是什么。”

　　杨立昆看着眼前这个年轻人，像是第一次认识他一样。

　　“我会去的。”

　　他扔掉手里的饼干，拍了拍手上的碎屑，眼神变得严肃起来，“如果你明天真的能跑通这个Demo，哪怕是Google那帮鼻孔朝天的傲慢家伙们，恐怕也要把下巴掉在地上了。”

　　……

　　晚上九点，酒店房间。

　　方雪若正在盘点今天的战果：“三家VC留了名片，表示很有兴趣。还有两家药企想了解我们的筛选平台。虽然还没签单，但势头不错。”

　　程新竹瘫在沙发上，嗓子都哑了：“我今天讲了不下五十遍血脑屏障，感觉嘴都要起泡了。”

　　林允宁站在窗前，看着楼下灯火通明的大学城。

　　他的电脑屏幕上，那个刚刚编写完成的线性注意力代码（Linear Attention Code）正在进行最后的编译。

　　进度条走到100%。

　　【编译成功。】

　　【内存占用预测：128MB（原算法需128GB）。】

　　【加速比：1500x。】

　　“早点休息吧。”

　　林允宁合上电脑，站起身来，转头对两位合伙人说道，“明天上午的场子，可能会比较……热闹。”

　　他想起白天魏斯那副傲慢的嘴脸，又想起杨立昆震惊的表情。

　　旧时代的余晖依然耀眼，支持向量机和核方法的信徒们还在欢庆他们的数学大厦坚不可摧。

　　但他们不知道，地基已经被抽走了。

　　明天，他要在那个舞台上，亲手按下一枚核按钮。

　　……

第204章 易碎的“玻璃糖”（求订阅求月票）

　　上午九点五十五分，科瓦利斯会议中心C厅。

　　原本只能容纳两百人的分会场，此刻连过道里都站满了人。

　　空气闷热，混合着廉价咖啡和程序员身上特有的那种陈旧衬衫的味道。

　　这帮人当然不是冲着名不见经传的“以太动力”来的。

　　大家是来看上帝的。

　　就在刚才，杰弗里·辛顿和杨立昆这两个平时神龙见首不见尾的大佬，竟然联袂走进了这个偏僻的C厅，并且在前排正中间找了个位置坐下。

　　这一举动就像是在平静的鱼塘里扔了个深水炸弹。

　　原本还在隔壁B厅听贝叶斯网络报告的人，瞬间跑了一半过来围观。

　　“那个中国小子是谁？辛顿教授居然专门来听他的报告？”

　　“听说是个做AI制药的，昨天在展台那边忽悠了不少风投。”

　　第一排最右侧，谷歌技术总监魏斯博士（Dr. Weiss）已经打开了他那台厚重的戴尔外星人笔记本电脑。

　　屏幕上跑着一段MATLAB代码，那是他连夜让手下工程师复现的“全注意力机制”demo。

　　在他身后的屏幕上，鲜红的“Out of Memory”（内存溢出）报错框正一闪一闪。

　　魏斯看着走上台的林允宁，推了推眼镜。

　　他不是来砸场子的，他是来做“代码审查”的。

　　作为谷歌搜索算法的负责人之一，他太清楚工程实现的边界在哪里。

　　数学可以天马行空。

　　但服务器的内存条，才不会陪你演戏。

　　……

　　十点整。

　　林允宁站在讲台中央。

　　他没穿西装外套，只穿了一件挺括的白衬衫，显得身姿愈发挺拔。

　　领口，依旧系着方雪若送的那条深蓝色的真丝领带。

　　方雪若站在台下阴影处，抱着手臂，满意地点了点头。

　　这身打扮既有学术的严谨，又不失精英的锐利，卖相满分。

　　“早上好，我是林允宁。”

　　林允宁没有寒暄，直接按下了翻页笔。

　　投影幕布上跳出了一张图：一只大象被塞进了冰箱里，冰箱门被撑爆了，零件飞得到处都是。

　　台下响起了一阵稀稀拉拉的笑声。

　　“这就是目前的注意力机制。”

　　林允宁的声音通过麦克风传遍全场，平稳而清晰，“我们试图让神经网络记住每一个输入信号之间的关联，这很美好。但代价是，当我们需要处理长序列——比如一条完整的人类染色体，或者一本《哈利波特》时，我们需要计算一个N乘以N的巨大矩阵。”

　　他在黑板上写下了一个公式：

　　Complexity = O(N^2)

　　“对于N=1000，这没什么。但对于N=100，000，这意味着我们需要100亿次浮点运算和几十GB的显存。”

　　林允宁看向台下的魏斯，微微一笑，“魏斯博士昨天提醒我，在工业界，这叫死刑。你是对的。”

　　魏斯挑了挑眉，合上了电脑盖子，靠在椅背上。

　　这小子还算有点自知之明。

　　“但是，”