本地LLM相關~[03]Ubuntu + vLLM + Hermes Agent + Dify 的 AI 伺服 詳細安裝步驟

AI提問: 

幫我詳細規劃 建置 Ubuntu + vLLM + Hermes Agent + Dify 的 AI 伺服器 和提供詳細安裝步驟
重點在於日後維護性和LLM併發請求效能兼顧

資料來源:

https://www.meta.ai/share/c/BDI9Ur0Xi5

https://grok.com/share/bGVnYWN5LWNvcHk_94281668-64e0-42f9-bb63-2311032c2318

https://www.perplexity.ai/search/6ce2d4a8-89a2-4b5b-aaad-be7ba2a46702

https://share.gemini.google/oY7HIdEHB0Ko

https://chatgpt.com/share/6a505045-4f28-83ee-985b-d0c1e9f1cafa