首富从AI浪潮开始 第422节

　　“你以为我们会贪你那点儿资产？”周涵笑了一声，接着说，“要是真按照上一轮的估值来才有问题呢，源智为什么能用明显偏低的价格收购关联方资产？定价是不是公允？有没有利益输送？有没有给未来上市埋雷？国资审查可是很严格的。”

　　然后周涵又说：“我也不和你见外，给你一点儿建议，如果你想两家合并，先去找独立评估机构，谈好了之后资质拿来给我看看。最好找两家，一家做整体估值，一家做复核。评估方法也别只用一种，多选几种，这样你从里面可以按着合适的选。”

　　韩路一听就暗暗心惊，周涵说的这些话确实是直击重点。

　　这是真把他当自己人了。

? 第三百六十章 钓鱼佬能不能赶上聚餐

　　五月十四，京城。

　　天气已经开始热起来了。

　　赵文渊在长租公寓楼下扫了一辆共享单车，开始往源智京城研究院骑。从这骑过去一共是一公里多，但是早高峰的时段，比开车还快。

　　还能锻炼锻炼身体。

　　刷卡进到办公室，和沿途遇见的几个同事打了招呼，赵文渊去冲了杯咖啡——设备比较简陋，没有咖啡机，只有烧水壶，所以赵文渊自己带的挂耳。

　　然后赵文渊回到自己的院长办公室，打开电脑，开始查看训练进度。

　　他已经从能在国产卡集群上跑训练的狂喜中恢复过来了。

　　这个放在半年前想都不敢想的成就，此时此刻，并不能让他高兴起来。

　　赵文渊反思了一下，可能和韩总在一起待久了，有什么神奇的成就也能习惯，人习惯新事物的能力是很强的。

　　现在他有了新的问题——时间不够。

　　正常来说，一个后训练任务跑个两到三周，算是正常。

　　但是现在汤圆1.0想要赶上人工智能大会的闭门测评，却卡在两周紧张，三周不够的一个状态。

　　简单的说，就是训练过程中一点岔子也不能出，然后祈祷运气够好，能在人工智能大会的盲测截止日期前完成测试、整理材料和提交。

　　但是从现在的进度看，恐怕是不太行了。

　　前天的时候，预计训练的完成时间是五月二十六日。

　　昨天，这个预计完成时间变成了五月二十八日。

　　现在再看，预计完成时间是六月三日，十一点四十分。

　　按照这个进度下去，恐怕最终的完成时间要拖到六月中旬，到时候人工智能大会都开完了。

　　这倒也不是什么大事，但是赵文渊就是觉得不舒服。

　　明明知道下一个版本的更强模型就要训练出来了，却要拿着上一代的汤圆0.9去打擂台，非常不舒服。

　　为了这个，赵文渊已经连着和江松然开了好几个会，最后得出的结论是：这不是硬件的问题，不是基础设施的问题，是算法的问题。

　　就算把汤圆的底座和那些数据拿到一个N卡集群上去跑，训练的速度也不会更快了。

　　这次他倒是没想着去找韩路一。

　　因为后训练是他的强项，他的领域，他不认为韩路一会比他更懂。

　　更重要的是，韩路一走之前特意跟他说过了，要对他放手。

　　那他就更得证明自己的价值了。

　　不就是训练速度遇上了算法瓶颈吗？不就是还没有人做出来的更优化的训练算法吗？

　　难道我赵文渊就做不出来？

　　搞笑。

　　赵文渊让训练任务继续跑下一轮，自己在电脑上调出了上一轮的运行数据。

　　仔细看了一圈之后，他发现了第一个问题。

　　各个节点的运行效率并不一样。

　　Transformer架构的开创性贡献是把以前只能串行的机器学习任务变成了可以并行，于是机器学习也可以像大数据处理一样用大集群来加快速度、提升效果。

　　基本原理也很简单，就是把大任务切成小任务，派一个集群一起执行，执行完了之后合并在一起。

　　问题是怎么分？

　　最理想的情况是，每个节点运算能力都一样，那任务都分出来一样大小，每个节点负责的任务量一样。

　　这样就没有时间的浪费。

　　但是实际上很难做到平均分配。

　　因为后训练的任务类型不一样。

　　比如一个寝室决定聚餐，大家分别去采买食材，有人的任务是去超市买菜，有人的任务是去海里钓鱼，买菜的人都回来了，鱼还没上钩。

　　但是这没办法，钓鱼是不可细分的最小任务。

　　现在通行的做法是，大家一起等这个钓鱼佬回来，然后把阶段性结果写到硬盘里，再进行下一步。

　　问题是，该怎么把效率再往上提一提呢？

　　赵文渊托着下巴正在想着，门外突然响起了敲门声。

　　赵文渊被打断了思路，缓了缓才说话。

　　“请进。”

　　章闻铎推门走了进来，手里拿着一张纸，径直走到赵文渊的办公桌前。

　　“院长，我来提个申请。”

　　“什么申请？”

　　“我手里有个新实验，原来的十六张卡不够用了，想申请六十四张卡来做。”章闻铎一边说着，一边把申请表递到赵文渊面前。

　　赵文渊皱了皱眉头，现在他手底下用于研究的卡也就不到两百张，除了章闻铎之外，其他的几个项目组也在排队。六十四张还真不一定拿得出来。

　　赵文渊沉吟了一下，回忆着章闻铎的研究方向。

　　“十六张也不少了，怎么不够？实验内容有什么变动吗？”

　　章闻铎看赵文渊要问细节，干脆拉开椅子坐了下来，语气有些兴奋：“是这样的，院长，我有个新想法。之前我做实验的时候，不是有些长程任务嘛，把池子都占满了，短程任务也跑不起来，我就想把池子做大一点儿，一个任务完成之后就让——”

　　赵文渊一开始思路还跟得上，但是越听越不对，不由得打断了他：“不是，等等，章博士，你刚才来说，任务完成了之后直接回去取，不用等同一个batch（批次）的其他任务吗？”

　　章闻铎的方向是只有他一个人在做，平时就是查文献、做实验、记录结果，现在看院长赵文渊对技术细节有兴趣，他就打开了话匣子。

　　“是的，研究世界模型的话因果链比较长，有很多多步骤的长程任务，有时候一个任务就得好几个小时，这个时候其他的任务都做完了，就等这一个长程任务太浪费了，所以我想了个方法，一个任务做完就回去取，不用等。”

　　赵文渊一边听一边皱眉头，到最后眉毛都拧成了麻花。

　　不对不对不对，这个方法和他认知的基础框架有很大区别。

　　等到章闻铎说完，他赶紧抛出了自己的疑问：“你上一轮还没跑完，结果还没更新回模型，就跑下一轮？这不是全乱套了吗？”

　　拿赵文渊刚才自己想的那个例子来说，就相当于钓鱼佬还没回来，其他人都已经开吃了，等到钓鱼佬回来了，那事还能小？

? 第三百六十一章 钓鱼佬吃上饭了

　　章闻铎说道：“这个问题我也想到了，传统的方法肯定是等一个batch（批次）的训练都跑完，新参数更新回模型，再跑下一个batch，但那是一般的模型，长程任务不够多，也不够长。像我做的这个实验，用这种传统算法，平均下来计算卡利用率只有百分之二十多。”

　　百分之二十多，赵文渊在心里复述了一下，现在汤圆的后训练任务，平均利用率大概是百分之四十多，两者相差一倍。

　　章闻铎左右看了看，没在赵文渊的桌子上找到纸笔，干脆把自己的设备申请表翻过来，从裤兜里掏出一只圆珠笔，在上面写了起来。

　　“院长你看，这个是我想出来的新架构。”

　　他在纸的中心画了一个圆，两侧各有两排小人，一排写着Actor（行动者），一排写着Learner（学习者）。中间的圆则是经验池。

　　在传统的学习方法中，行动者全部行动完之后，会得到一批结果，学习者把这些结果更新到原本的模型中，行动者再基于新版本的模型进行行动。

　　就这样模型、行动者、学习者、模型、行动者、学习者反复执行，一直到最后的结果达到相对最优，没有进步的空间，就算是完成了训练。

　　而在章闻铎的新架构里，行动者和学习者并不互相等待，行动者一直在行动，行动完之后把结果放到经验池，学习者则在经验池有足够的数据之后就把经验更新回模型。

　　“你是说，放弃同步策略，改用异步策略？”

　　章闻铎讲完之后，赵文渊已经懂了。

　　所谓同步，就是你走一步，等你走完，我再走一步，大家不会同时走。好处是数据永远同步，坏处是慢。

　　而异步就是我走了告诉你一声，你也可以走，等你走完再告诉我一声，但你走的同时我还在走。好处是快，坏处是数据会乱。

　　在传统的编程领域，同步和异步各有好处。

　　但是在机器学习领域异步的应用远远不如同步的应用，因为大多数时候，准确率要比速度重要的多。

　　谁也不想飞快地训练出一个傻瓜模型，那没有任何意义。

　　赵文渊心里想了一下，说道：“还是刚才的老问题，新一轮的行动已经开始了，用的却是老的模型，这中间造成的偏差怎么办？”

　　章闻铎说道：“在我的这个实验里，每个行动结果的重要性不是完全相同的，大部分结果其实没那么重要，真正重要的几个结果，我已经提前标出来了，只要在训练的过程中，这几个关键步骤被更新，其他的步骤就算被跳过，对最终结果的影响也不太大。”

　　“效果怎么样？”赵文渊问道，他的声音已经不自觉提高了几分。

　　“运气好的时候能跑到百分之八十多。”章闻铎说道，“但运气不好，长程任务把所有的Actor都占了，大家一起陷入等待，这个策略就失效了，所以我才来申请多几张卡。”

　　赵文渊愣了一下。

　　八十多？