明敏 发自 凹非寺

量子位 | 公众号 QbitAI

(相关资料图)

大模型训练推理要用多少内存？

打开这个网页一测便知，测量误差小至。

比如模型bert-base-case Int8估计占用 MB 内存，实际占用为 ， 相差 ，误差仅有 % 。

操作也很简单，输入模型名称，选择数据类型即可。

这就是HuggingFace Space上的最新火起来工具—— Model Memory Calculator ，模型内存测量器，在网页端人人可体验。

要知道，跑大模型最头疼的问题莫过于：GPU内存够吗？

现在能先预估一波、误差很小，让不少人大呼“Great”！

使用第一步，需要输入模型的名称。

目前支持搜索在HuggingFace Transformers库和TIMM库中的模型。

比如想要看GLM-6B的情况，可以输入“ THUDM/chatglm-6b ”。

不过有一些模型会存在限制，需要获取API token后才能开始计算，比如Llama-2-7b。

我们找了几个大模型实测，可以看到当模型规模达到百亿参数后，内存要求被直线拉高。

基础版的BERT还是对GPU相当友好滴。

而在实际推理过程，EleutherAI发现需要在预测数据基础上， 预留20%的内存 。具体举例如下：

最后来介绍一下带来这个项目的小哥 Zach Mueller 。

他本科毕业于西佛罗里达大学，主修软件设计与开发，热衷开源，在GitHub有1k粉丝。之前做过很多和框架有关的开源项目。

传送门： /spaces/hf-accelerate/model-memory-usage

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

关键词：