sglang 最佳實踐
自從 deepseek 研發團隊推薦使用 sglang 部署 R1，就開始慢慢的關注 sglang。大模型的推理框架很多，企業級中 vllm 已經成爲實際的工業標準，其他框架多多少少會參考 vllm；sglang 作爲同是伯克利大學出品也越來越凸顯出來，tensorRT-LLM 由於對於 gpu 的深度綁定，一般的廠商不會採用。ollama，llama.cpp 在整體性能上像是一個單機個人玩家，不 ⌘ Read more