zxd188095265 Phi-3 14b 是一个大型语言模型,最低需要56G的显存,4090是带不动的!
参数数量:14b 指的是模型有 140 亿(14 billion)参数。通常每个参数大约占 4 字节的显存(如果使用的是 32 位浮点数)。
显存需求计算:显存需求可以通过以下公式粗略估算:
显存需求
参数数量
×
4
字节
显存需求=参数数量×4 字节
对于 14b 参数的模型,显存需求大约为:
14
×
1
0
9
×
4
字节
56
GB
14×10
9
×4 字节=56 GB
因此,Phi-3 14b 模型运行时大约需要 56 GB 的显存。如果使用更高效的参数存储方法(如混合精度训练或量化),显存需求可能会降低,但在实际运行时,通常建议显存容量至少为 56 GB 以确保模型顺利运行。