vLLM-DeepSeek 本地部署大模型終極解決方案，細到超乎想象！
自從 DeepSeek 火遍大江南北，人人都在使用大模型，也有很多同志在像曉智同學一樣，開始私有化部署。當然選擇私有化部署使用最多的是 ollama 部署，但是對於併發相對高的場景，vllm 是非常不錯的選擇。現就將曉智同學一步步部署併成功上線實施的方案分享如下：一、環境構建1、安裝 ubuntu24.04 操作系統，並安裝對應的基礎軟件，比如輸入法等（可以不安裝）。2、安裝顯卡驅動檢查顯卡驅動是 ⌘ Read more