我是8卡的B300 GPU,使用这个模型,如何部署配置,既单流快,又可以支撑高并发?VLLM?SGLANG?TP?EP?DP?DCP? MTP? P/D需要分离吗?
· Sign up or log in to comment