首富从AI浪潮开始 第482节
但是这两万张是有水分的,因为起源研发的适配框架,除了L100能原生发挥出全部性能之外,无论是澄江系列显卡还是正在进行抽象层适配的龙门系列显卡,运行时的效率都要打个折扣。
说到底,起源现在自有算力属于“够了,但是不太够”的状态。
国产算力联盟的工作还在推进,也有不少大小厂商相继愿意接入起源集团所开源的推理体系,但是等到他们能够支持汤圆在上面运行、等到起源集团能拿到足够的货源,还需要不知道多少时间。
所以韩路一问的是,如果对应算力的词元卖完能赚多少钱,因为他们不太用担心算力太多卖不出去的情况。
苏念念在表格里切换了一个标签页,是按照不同定价以及现在的算力总量、各个起源产品用量、可出售余量所计算出来的预计收入。
现在汤圆Chat和御风的总用量大概是总算力储备的70%左右,也就是说,能用来出售的就是剩下的百分之三十。
按照原本的定价来算,这些算力对应的收入是大概每个月2亿,按照新定价就是4亿。
相对应的,现在汤圆Chat和包括开物、御风的开发向订阅每个月能带来的收入大概是5.5亿。
这部分算力的单位收入看起来比御风和汤圆Chat的收入还要高一些,并不是因为两个应用没有价值,而是因为包月制本身的定价就比词元定价低一些,并且还要考虑到大量免费用户所使用的算力。
四个亿,和现在的盈利结构比起来算是一个很好的补充,总收入更是接近翻倍了。
这个数据拿出去可以让简直可以让同行惊呆下巴。
可惜,算力就只有这么多,想多卖也没有了。
韩路一想了想,问道:“现在的白名单用户也跟着涨价?”
“之前只是小范围内测性质的开放,现在公开开放了,价格有变动也是很正常的吧。”苏念念说道。
“我倒是有个想法。”韩路一说道,“之前白名单的用户都是签过数据回训协议的,不如我们就按照这个来分开不同定价。不同意我们使用他们数据训练的用户一个价格,同意我们使用他们数据训练的用户一个价格。这样白名单用户都自动转入了共享数据的档位,价格保持不变。”
苏念念神色古怪:“企业数据用来做训练?这在业内可不是通行规矩。”
韩路一知道她是什么意思,现在业内的标准动作是个人用户数据默认用来训练,企业用户的数据默认不用来训练。
因为模型公司们都指着企业业务赚钱呢,AI服务并不是一个在消费端很赚钱的业务,大部分人用用免费版就够了,并不考虑为它付费。
汤圆Chat的注册用户都快两亿了,真交钱订阅的才几百万人。
只有在企业用户这里,花出去的钱能成倍地变成赚回来的钱,企业才愿意真金白银地付费。
所以大家都会说,我们不会用企业用户的数据来训练。
当然,私底下是不是真的训练,从外面是看不到的。
但韩路一偏偏看不惯这种“一切向钱看”的商业逻辑,凭什么个人用户就不看重隐私了?
不如直接在价格上体现好了。
“那样不是正好吗?不愿意共享数据的,付不共享数据的价钱;愿意共享数据的,付共享数据的价钱。折扣就当是我们买数据的成本了。”韩路一说道。
“那这个买数据的成本可不低。”
苏念念最后说了一句,但她被韩路一说服了。
上次高管会议的时候赵文渊就提过,汤圆现在的表现不错,但是主要是基于后训练的水平高,实际上汤圆预训练的规模和数据源在主流模型中都不算出彩。
规模自然是因为算力不够,即使当时用了鼎盛的算力,也只是堪堪达到业内一般水平而已。
数据源则是因为当时受限于预算,韩路一和赵文渊选择了使用网络上的开源数据。
这些数据虽然不少,但是人类还有很多知识是不在互联网上的,或者不在公共互联网上。
前者比如某些生僻的古籍,没人上传,这些本身就不在互联网上。
后者则是很多商业或者社交等垂直领域的数据,比如鼎盛的电商数据肯定就很丰富,这些数据都不在互联网上。
汤圆想在下一代的模型中更进一步,就需要更大的模型,更多的预训练数据,不管有多少人选择共享的方式,在API调用中能拿到的数据质量一般是比较高的,毕竟每一次调用都是真金白银的付钱。
至于算力����那就是另一个待解决的难题了。
回顾一下现状,韩路一又觉得不安了起来。
虽然汤圆靠着标注数据的质量另辟蹊径、暂时领先,但是无论是算力还是原始数据比起国内外的顶尖模型公司都有差距。
想要弥补这些差距,还有很长的路要走啊。
苏念念长出了一口气,仿佛把胸中的压力都吐出来了,胸口的曲线也随着她的动作一阵起伏,然后把平板收起来放在胸下:“那就按你说的方法试试吧,我都不知道该期望用户们是多交钱还是给数据了。”
韩路一故意侧过头没去看她的动作,发表了自己的看法:“就瑞恩和山姆的那个德性,他们收着‘不使用用户数据训练模型’的钱,难道就真的不看用户的数据吗?倒不如像我们这样明码标价。”
正事聊完了,苏念念突然用仿佛闲聊一般的语气问道:“对了,你刚才去哪儿了?”
韩路一犹豫了一下,还是如实回答道:“去了趟银行。”
“去银行干嘛?”
“准备贷款买房。”
苏念念很自然地笑道:“是吗?我最近也在看房呢,有好的小区推荐一下啊,也许咱们还能做邻居呢。”
韩路一愣了一下才回应:“啊,好啊。”
苏念念看了韩路一的反应,突然觉得自己刚才说的话有点儿过线了,告辞之后匆匆忙忙地走了。
出门之后她才想到,韩路一有钱也不是一天两天了,怎么最近突然想到要买房了?
第四百一十四章 算力调度
苏念念出门没多久,韩路一又把她发来的资料仔细看了看,给刘��挂了个内线电话。
“帮我问一下江松然现在在不在。”
过了几分钟,刘��回了过来:“韩总,江松然总在办公室,要我让他过来吗?”
“不用,我们过去找他。”
韩路一说完起身出门。
他现在关心的是算力的实时情况,又没让江松然提前在准备,去江松然那边,数据调取起来方便,真让他过来汇报还耽误时间。
韩路一来到江松然的办公室,江松然已经等在门外了。
“韩总。”
“走,进去聊。”韩路一说完率先进门,进门之后也没有坐,直接开口询问,“你从京城回来之后一直忙着算力的事,现在进展得怎么样了?”
江松然猜到韩路一会问这个,毕竟这既是公司战略,也是他最近的工作重心,所以提前做了点儿准备。
江松然到电脑前把实时监控的数据面板调出来:“韩总您看,现在正在运行的推理和训练集群。”
韩路一简单看过之后,迅速问出了自己最关心的问题。
“CJ590和龙腾2000大概能做到多少效率?”
听了这个问题,江松然的表情有点儿尴尬。
韩总看问题真准,问的恰好是现在最不好看的数据。
“从上一次跑的基准看,CJ590能跑到理论算力的80%,龙腾2000只有63%。”江松然说道。
只有这么低吗?
韩路一思考了起来。
现在看,他最一开始所设想的、用中间层来聚合国产算力联盟的方向没有错,在推理方向也已经踏出了坚实的第一步,现在同意接入这一套推理框架的国产厂家就有好几个。
但是现在的问题是,这套中间层是原生适配当初硅明L100的底层硬件的,尽管工程团队在抽象化的时候已经尽量做到硬件无感知,但是有些底层实现没有就是没有,其他厂商的设计,在接入这个中间层的时候,是有性能损失的。
当然,这并不能说中间层的路线是错的,毕竟如果让各个厂商自己实现,他们连跑通都还没跑通,接入中间层是省时省力的做法,但是又必须接受性能损失,只能说鱼和熊掌不可兼得。
韩路一突然问道:“龙门半导体那边是你带团队去适配的?”
“是他们带了人过来,在4楼的实验室和我们一起做的适配。”
韩路一挑了挑眉,他和龙门半导体的张总只谈了用优先购买权换适配合作,剩下的都是团队们自己交流的,他倒是没想到工作是在起源大厦里完成的。
摊子大了果然不可能面面俱到了。
“这个适配效率要再往上提,还要多久?”
江松然摇了摇头:“我们只是紧急完成了初期的适配,让这些卡赶紧上线派上用场,现在配合龙门那边继续提升效率,性价比不太高,不如让团队去对接其他的厂商。”
确实是这个道理,只是这样一来,不同类型计算卡的集群之间算力差距好像有点大。
“可以混合调用吗?”韩路一问道。
“这是我们团队正在研究的一个方向,但中间还有一些技术挑战没有克服。”江松然答道。
韩路一拉开椅子坐下来:“展开说说。”
江松然愣了一下,问道:“多展开?”
韩路一说道:“你就假设我是一个5岁孩子,尽量把这个问题给我讲明白。”
江松然心想,韩总还真是突发奇想。
怎么突然用起了费曼方法?
如果你不能把一个专业知识讲给一个5岁的孩子讲明白,就说明你没有完全弄懂它。
“我试试吧。”江松然说道,“现在3种不同类型的推理卡,就像3种不同容量的卡车,不同的推理任务就像要搬运的不同大小的货物。有些任务长而且复杂,只能在L100上运行,有些呢,比较简单直接,对算力的消耗也小,可以在CJ590,甚至龙腾2000上运行。”
“我们现在遇到的问题是,一个任务进来之前,甚至作为一个长程任务的一部分,在运行中我们都不知道这个任务它是一个简单的任务还是一个难的任务。”
韩路一在心里摇了摇头,这江松然讲着讲着又回去了。
卡车和货物的比喻只用了一句。
上一篇:这个导演不讲规矩
下一篇:我在中东造军火,被全球通缉?
