在OpenAI将生成式大模型带入主流视野之后,几乎所有头部厂商都在研究和推出自己的大模型业务。今年9月腾讯对外推出自研的通用大模型“混元大模型”,成为国内头部科技企业中最后一个对外发布大模型业务的公司。

推动大模型应用落地是一项颇为复杂的工程,不仅要考虑如何降低训练和精调的成本,还要关注投产时的推理成本。因为当所有的应用场景都用千亿级模型去做训练和推理时,会形成长期的成本消耗,企业需要支撑每次服务调用带来的算力成本。

有些厂商也推出了小尺寸模型,试图在性能、成本和效果之间做均衡:在一些需要高度复杂推理的场景下用大模型能力,在一些不太复杂的场景使用小尺寸模型。

任何一家厂商,如果想推出领先于竞品的大模型服务,不仅要有最好的硬件集群,还要针对新型算力集群提供训练推理框架、软件框架,做软硬适配一体化。

对于这些话题,近日,腾讯的两位混元大模型技术专家与界面新闻等媒体进行了深度沟通,聊到了大模型对传统深度机器学习平台的改变,以及大模型底层技术支撑对头部厂商的挑战。

机器学习平台不再是从0到1

虽然都在人工智能范畴之下,但在各大公司纷纷介入大模型研发后,即便是不久之前的深度机器学习平台,也与大模型优化出来的新型训练推理范式有着本质区别。

从模型的精调、评测再到部署,这些环节就是现在专属模型定制的主要训练过程,与传统机器学习平台的区别也主要集中在这个过程中。

比如说,传统的机器学习平台只提供各种库和算法,训练都是从0到1的过程,不会提供一个带参数的模型。

今天由大厂提供的千亿规模基础模型,则包含了各种尺寸的模型矩阵,以及庞大的数据量。此时研发人员要做的就是精调专属模型,并进行应用构建。

其中,庞大的数据量决定着应用落地的天花板。十几年前的机器学习平台,数据科学家60%-80%的时间在做数据清理,只有20%左右时间在建模。