GPT-4模型架构、训练成本和数据集信息泄露
来源：站长之家
2023-07-11 16:58:19
【资料图】
编程客栈（）7月编程客栈1fBOda1日 消息:今天，SemiAnalysis 发布了一篇付费订python阅的内容，「揭秘」了有关 GPT-4的信息，包括模型架构、训练成本、数据集等。
据称，GPT-4是由8个混合专家模型组成的集成系统，每个模型有2200亿个参数。推理过程中采用了混合专家模型，路由方式相对简单。训练数据集包含约13万亿个 token，训练时间为90到100天，成本达到6300万美元。推理成本为每1000个 token 约为0.0049美分。
文章编程客栈还提到了 GPT-4的视觉多模态、推测式解码等特点。这些揭秘的数编程客栈据对理解 OpenAI 的架构决策非常有意义。
此外，文章还介绍了 A100上 GPT-4的训练和推理成本，以及如何拓展到下一代模型架构 H100。
