B300的部署问题?

#5
by PeterchanCN - opened

我是8卡的B300 GPU,使用这个模型,如何部署配置,既单流快,又可以支撑高并发?VLLM?SGLANG?TP?EP?DP?DCP? MTP? P/D需要分离吗?

Sign up or log in to comment