法师归来，速通地球！ 第9节
这些赵立明都信，他本来以为自己女儿要为对方寻求一份实习。
腾讯给ai岗开的实习，价格也不低，一千一天，比不上后来给姚班开的三千一天那么夸张。
但也是很夸张的数字了。
有伊戈尔·巴布什金的背书，有推特的offer作为佐证，给个实习很合理。
结果自己女儿在那接着说的话实在让他绷不住了：
“我想的是能不能在腾讯云调一些卡给他用，让他训练一个大模型出来。”
赵立明感觉自己的家庭教育出了大问题，之前没看出对方是恋爱脑啊。
作为小有家产外加独生女的家庭，最怕的就是女儿是恋爱脑。
“依据呢？你知道现在国内英伟达的算力卡有多紧俏吗？什么叫拨点卡给他用，让他训练个大模型？大一学生就想主导大模型的研发？
他是乔布斯还是比尔盖茨？
他在开源社区有备受推崇的项目吗？
他是什么明星科学家吗？
他靠的是背书。
靠背书，我就要给他调卡？
现在就没有什么闲卡，要么使用权卖出去了，要么就是腾讯内部的人工智能实验室在用。
哪里有什么闲卡啊。
他是伊戈尔·巴布什金还差不多。”
赵立明说完，只见自己女儿一脸不服气的样子。
“来来来，你给我说凭什么？我下属给我报项目的时候，也得给我把依据说出来。
光是给你们一个月时间一千张H100，最少也是5到6千万。
更别说现在国内市场上压根就没有合法合规渠道能买到H100，灰色市场上一张H100一个小时在10美元。
别说你是我女儿，就算你汤叔叔女儿，也没办法靠两句话就把卡给你空出来。”
H100非常紧张，这是英伟达在去年才发布的新一代旗舰。
因为阿美莉卡官方在去年10月发布的出口管制，加上ChatGPT的横空出世，导致整个华国，H100都格外少。
也就是腾讯云在海外也有数据中心，他们可以把卡买到海外，然后国内研发海外训练。
赵立明只觉得自己的女儿被忽悠瘸了。
赵佩璇开口道：“爸，第一，我也没说要H100啊，A100也行啊。
另外陈曦他给了一个非常具有可行性的方案。
直接拉GPT的数据来作为训练集，这是现成的数据，能够大大节约时间。
我觉得这是非常具备可行性的方案，给他一点机会未尝不可。
你也说过，大部分时候求稳，但当机会出现的时候，该赌就得赌。”
赵立明被气笑了：“我是让你该赌的时候就赌，但你看看他背景，唯一有可信度的背景是来自伊戈尔·巴布什金的背书，还只是远程聊过。
他没有去硅谷，没有在DeepMind工作，也没有在推特工作。
背书力度太弱了，你明白吗？
另外，你以为用GPT的数据来训练是什么很了不起的方案，是什么天才的灵光一闪。
那是因为你了解的太少，你没有从事这一行，你在江城科技大学学的是四十年前的数据结构和C语言。
你没有关注开源社区的前沿动态。
华盛顿大学和艾伦人工智能研究所在ChatGPT发布的第一时间就发表了论文，论文名字叫Self-Instruct。
你所谓的用GPT数据训练只是一句话，人家已经写成论文，并且进行了实验。
Self-Instruct的核心内容就是让大模型自己生成自己的训练数据。
他们把方法都公布了，一个迭代的过程。
先准备一小批人工写的指令，这些作为例子来引导模型生成新任务。
用当前模型提示它生成新的、更多样的指令。
比如给它几个种子例子，让它发明新任务。
为每个新指令生成输入和输出。
对生成的指令，再让模型生成对应的Input和 Output。
这样就得到一条完整的Instruction、Input和Output三元组。
过滤低质量数据，用启发式规则自动过滤无效的任务、与已有任务重复度太高的、输出质量差的。
把过滤后的高质量数据加回任务池，可以继续迭代生成更多数据。
最后用这些合成数据对原始基座模型进行监督微调。
你以为的灵光一闪，人家早就想到了并且实践落地了。
你以为自己发现了天才，殊不知人家可能只是比你懂得多一点呢！
你以为他有知识，可能他只是有知道呢？”
（PS：上述是Yizhong Wang在2022年12月20日挂在Arxiv上的论文，论文全称：Self-Instruct: Aligning Language Models with Self-Generated Instructions，也是蒸馏方法的开创者。
其中艾伦人工智能研究院是由微软联合创始人保罗·艾伦于2014年创立的一家专注于人工智能前沿研究的机构。）
在江城大学湖滨七舍被室友们吹上天的陈神，在江城富人区的别墅里，在赵立明这不过是个运气好有点能力的小子。
这样的反差陈曦本人不知道，但赵佩璇显然无法接受。
但父亲说的有理有据，完全找不到反驳的点。
这让赵佩璇内心郁郁寡欢，只是说了句：“知道了。”就回自己房间了。
赵立明看着自己女儿扬长而去的背影，心想真是女儿大了留不住，小时候赵佩璇还会给他拥抱，现在一不顺心就是往自己房间里钻。
“陈曦，抱歉，我没能说服我爹，找不到卡。”
“他太固执了，不相信年轻人也能创造奇迹。”
“看来还是得去硅谷了，我明天送你去领事馆。”
赵佩璇每间隔几分钟就发条微信给陈曦。
一直没人回。
她也习惯了对方压根不回微信。
想了想，赵佩璇收拾了一下，拿着车钥匙出门。
女儿走到门口后，赵立明问：“去哪里？”
“不用你管，我不回来吃饭。”赵佩璇摆了摆手，把赵立明气得够呛：“我不管你，但你吃完晚饭八点之前必须给我回来！”
第11章 此路不通换一条
冬天的江城很冷。
过年早，春节也早。
大学生们都早早回去过年了。
陈曦还没走，是因为他不急着回去。
回去和在这里没区别。
更何况在法师世界五百年都过去了，更不急着早这么一天两天见到五百年没有见过的父母。
他依然在寝室，室友们一个两个陆续走了。
周景言因为本地人的缘故，还需要负责带一些没考到江城大学的高中同学来参观武大，所以继续留在这。
他是武钢中学的，高三的时候大家互相调侃都说，要是高考没考好只能上江大了。
结果还是有不少人连江大都上不了，去了江城理工或者华中师范，甚至是远赴他乡。
“陈神，这是啥意思？我怎么看不懂呢？”在寝室还没出门的周景言拿着平板凑了过来。
上面是一篇人工智能的论文：Attention is All You Need。
Transformer架构的开山之作，所有现代大语言模型都基于它。
陈曦推荐给周景言的。
985高校的学生嗅觉敏锐，大家都意识到人工智能会是显学，自己大学毕业之后无论是升学还是就业，都最好往这个方向靠。
周景言想着近水楼台先得月，自己寝室就有大神，这位还是数分高代双满分的大神，没有任何理由不就近请教啊。
“看来这个对你还是太高深了一点，要不你先看看Jay Alammar的博客《The Illustrated Transformer》？里面不懂的直接和ChatGPT对话，这样能把门槛再往下降一点。
总之你其实也不用知道具体的技术细节，有个大概的概念就好。
后续直接到Github上去找开源项目来练手，先从会用开始做起。”