编辑：搜虎网 来源：搜虎网
科技新闻
10月10日，记者基本从百度内部人士处证实了这一消息。 据悉，即将推出的文心大模型4.0的参数量、训练数据量和推理成本均比3.5高出一个数量级。
今年3月16日，百度正式宣布新一代大语言模型“文心一言”已启动邀请测试，并将于8月31日正式向公众开放服务。现在，文心大模型即将升级再次发布到4.0版本。 如此快速的大型号升级，国内绝无仅有。 然而，快速升级的背后，文心大模型4.0参数量和数据量快速增长带来的训练和推理成本的增加，也正成为大模型商业化过程中需要考虑的焦点。
据此前消息报道，与文信大模型3.5相比，文信4.0不仅增加了训练成本，还增加了推理成本，大约比之前提高了8-10倍。 截至目前，百度尚未披露大型模型训练和推理的成本。 不过，根据国盛证券此前的估算，一次GPT-3培训的成本约为140万美元。 对于一些较大的LLM模型（例如具有2800亿个Gopher和5400亿个参数的模型和具有5400亿个参数的PaLM模型），训练成本从200万美元到1200万美元不等。 作为国内大语言模型的代表，文心一言想要在性能上赶上甚至超越ChatGPT等国外同行，所需的资金成本恐怕也将与之相当。
在过高的训练和推理成本的压力下，构建领先的底层基础大模型之路注定是一场巨头之间的博弈。 但对于百度来说，由于其万卡集群、飞桨、文信大模型以及丰富的百度应用生态优势，拥有独特的芯片、框架、模型、应用四层架构优势，使其在技术上更具竞争力。
在进一步降低大型模型的算力和时间成本方面，百度万卡集群的整体优势得到了充分体现——在万卡集群上训练大型模型时，工程师有30%-40%的时间使用常规方法。 在容错和故障恢复方面，在百度智能云自研的集群网络故障管理机制下，模型有效训练时间达到95%以上，人力和计算资源都得到充分利用。
真金白银投入的背后，国外大型模型厂商也开始尝试收费模式。 针对企业客户开发B端垂直大模式或者针对消费群体的To C付费产品的案例有很多。 例如，在C端消费支付领域，GPT-4目前推出了“每月支付20美元订阅费”的收费模式。
可以预见，不久的将来，以百度为代表的大型模型公司可能会逐步推出收费模型。 在To C大模式AI应用层面，类似爱奇艺或百度网盘VIP会员的收费模式将不断涌现，逐步培养用户的付费习惯。
海量信息、精准解读，尽在新浪财经APP
搜虎网转载此文目的在于传递更多信息，不代表本网的观点和立场。文章内容仅供参考，不构成投资建议。投资者据此操作，风险自担。
Copyright © 2017-2018