同等复现预训练模型GPT Neo

-3开源了？Eleuther AI推出的名为GPT-Neo的开源项目：公开发布的GPT-3同等复现预训练模型(1.3B & 2.7B)，可在Colab上完成微调。

……当然此 GPT-3非彼 GPT-3。

近日，Eleuther AI在GitHub上推出了一个名为GPT-Neo的开源项目：GPT-3同等复现预训练模型(1.3B & 2.7B)，并可在Colab上完成微调。

虽然GPT-Neo与真正的GPT-3比，参数量仍然很小（较大版本也只与GPT-3最小模型的参数量），但开源又免费，仍然得到了「同性好友们」的认可！

项目目前在GitHub上已经得到了近3k的star。

uther AI也表示，未来会进一步开源10B版本和原始大小版本的GPT3模型参数。

「莆田版」GPT-3

在Eleuther AI官网上，他们对GPT-Neo的描述是，「一系列基于变换器的语言模型的代码名称，这些模型的风格松散地围绕着GPT架构，我们计划对其进行训练和开源。我们的主要目标是复制一个GPT-3大小的模型，并将其免费开源给公众。」

在这一过程中，我们将对替代架构和注意力类型进行实验，发布任何中间模型，并在我们的博客上写出任何发现。

GPT-Neo模型是在Tensorflow-mesh中构建的，这将使他们能够使用同步的模型和数据并行来扩展到GPT-3和更大的规模。

（编辑：唐山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!