Yi-34B 需要的资源是多少？

[xgysigned]

yi-34b需要的资源是多少？单卡3090或4090能跑吗？还是需要多卡？

[crapthings]

let's find out

[crapthings]

3 块48g或者a100 80g的够不够不知道

[crapthings]

[ericjank]

真有钱

[ericjank]

3 块48g或者a100 80g的够不够不知道

哈尔滨的朋友？

[wangye01inf]

@xgysigned 4090/3090 的显存应该在 24 GB，34B 参数以 float16/bfloat16 加载需要 34 GB*2=68 GB 左右显存，需要上多卡

多卡可以考虑使用仓库中的 TP Demo：https://github.com/01-ai/Yi/blob/main/demo/text_generation_tp.py

也可以考虑使用 vllm/llamacpp 等社区开源的推理框架的一些特性来进一步降低显存的需求以及提升推理性能：

• Support Yi model vllm-project/vllm#1567
• gguf-py: Support 01.AI Yi models ggml-org/llama.cpp#3943

[xihajun]

可以考虑支持autotrain-advanced，似乎支持int4推理

[xain]

希望量化后的版本支持24G显卡。

[waltcow]

希望量化后的版本支持24G显卡。

[m1105550]

卡一個量化後版本