DeepSeek-VL2部署教程

      一、介紹

      DeepSeek-VL2，這是一系列先進的大型混合專家 (MoE) 視覺語言模型，其顯著改進了其前身 DeepSeek-VL。DeepSeek-VL2 在各種任務中都表現(xiàn)出卓越的能力，包括但不限于視覺問答、光學字符識別、文檔/表格/圖表理解和視覺基礎。我們的模型系列由三個變體組成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，分別具有 1.0B、2.8B 和 4.5B 激活參數(shù)。與現(xiàn)有的開源密集和基于 MoE 的模型相比，DeepSeek-VL2 以相似或更少的激活參數(shù)實現(xiàn)了具有競爭力或最先進的性能。

      二、部署過程

      基礎環(huán)境最低要求說明：

      1. 更新基礎軟件包

      查看系統(tǒng)版本信息

      配置 apt 國內(nèi)源

      這個命令用于更新本地軟件包索引。它會從所有配置的源中檢索最新的軟件包列表信息，但不會安裝或升級任何軟件包。這是安裝新軟件包或進行軟件包升級之前的推薦步驟，因為它確保了您獲取的是最新版本的軟件包。

      這個命令用于安裝 Vim 文本編輯器。 選項表示自動回答所有的提示為“是”，這樣在安裝過程中就不需要手動確認。Vim 是一個非常強大的文本編輯器，廣泛用于編程和配置文件的編輯。

      為了安全起見，先備份當前的 sources.list 文件之后，再進行修改：

      這個命令將當前的 文件復制為一個名為 的備份文件。這是一個好習慣，因為編輯 文件時可能會出錯，導致無法安裝或更新軟件包。有了備份，如果出現(xiàn)問題，您可以輕松地恢復原始的文件。

      這個命令使用 Vim 編輯器打開 文件，以便您可以編輯它。這個文件包含了 APT(Advanced Package Tool)用于安裝和更新軟件包的軟件源列表。通過編輯這個文件，您可以添加新的軟件源、更改現(xiàn)有軟件源的優(yōu)先級或禁用某些軟件源。

      在 Vim 中，您可以使用方向鍵來移動光標，i 鍵進入插入模式(可以開始編輯文本)，Esc 鍵退出插入模式，:wq 命令保存更改并退出 Vim，或 :q! 命令不保存更改并退出 Vim。

      編輯 sources.list 文件時，請確保您了解自己在做什么，特別是如果您正在添加新的軟件源。錯誤的源可能會導致軟件包安裝失敗或系統(tǒng)安全問題。如果您不確定，最好先搜索并找到可靠的源信息，或者咨詢有經(jīng)驗的 Linux 用戶。

      使用 Vim 編輯器打開 文件，復制以下代碼替換 里面的全部代碼，配置 apt 國內(nèi)阿里源。

      安裝常用軟件和工具

      出現(xiàn)以下頁面，說明國內(nèi)apt源已替換成功，且能正常安裝apt軟件和工具

      2. 安裝 NVIDIA CUDA Toolkit 12.1

      · 下載 CUDA Keyring ：

      這個命令用于下載 CUDA 的 GPG 密鑰環(huán)，它用于驗證 CUDA 軟件包的簽名。這是確保軟件包安全性的一個重要步驟。

      · 安裝 CUDA Keyring ：

      使用 安裝下載的密鑰環(huán)。這是必要的，以便 能夠驗證從 NVIDIA 倉庫下載的軟件包的簽名。

      · 刪除舊的 apt 密鑰(如果必要) ：

      這一步可能不是必需的，除非您知道 是與 CUDA 相關的舊密鑰，并且您想從系統(tǒng)中刪除它以避免混淆。通常情況下，如果您只是安裝 CUDA 并使用 NVIDIA 提供的最新密鑰環(huán)，這一步可以跳過。

      · 更新 apt 包列表 ：

      更新 apt 的軟件包列表，以便包括剛剛通過 添加的 NVIDIA 倉庫中的軟件包。

      · 安裝 CUDA Toolkit ：

      出現(xiàn)以下頁面，說明 NVIDIA CUDA Toolkit 12.1 安裝成功

      注意：這里可能有一個問題。NVIDIA 官方 Ubuntu 倉庫中可能不包含直接名為 cuda-toolkit-12-1 的包。通常，您會安裝一個名為 cuda 或 cuda-12-1 的元包，它會作為依賴項拉入 CUDA Toolkit 的所有組件。請檢查 NVIDIA 的官方文檔或倉庫，以確認正確的包名。

      如果您正在尋找安裝特定版本的 CUDA Toolkit，您可能需要安裝類似 cuda-12-1 的包(如果可用)，或者從 NVIDIA 的官方網(wǎng)站下載 CUDA Toolkit 的 .run 安裝程序進行手動安裝。

      請確保您查看 NVIDIA 的官方文檔或 Ubuntu 的 NVIDIA CUDA 倉庫以獲取最準確的包名和安裝指令。

      · 出現(xiàn)以上情況，需要配置 NVIDIA CUDA Toolkit 12.1 系統(tǒng)環(huán)境變量

      編輯 ~/.bashrc 文件

      插入以下環(huán)境變量

      激活 ~/.bashrc 文件

      查看cuda系統(tǒng)環(huán)境變量

      3. 安裝 Miniconda

      · 下載 Miniconda 安裝腳本 ：

      · 使用 wget 命令從 Anaconda 的官方倉庫下載 Miniconda 的安裝腳本。Miniconda 是一個更小的 Anaconda 發(fā)行版，包含了 Anaconda 的核心組件，用于安裝和管理 Python 包。

      · 運行 Miniconda 安裝腳本 ：

      · 使用 bash 命令運行下載的 Miniconda 安裝腳本。這將啟動 Miniconda 的安裝過程。

      按下回車鍵(enter)

      輸入yes

      輸入yes

      安裝成功如下圖所示

      pip配置清華源加速

      加入以下代碼

      注意事項：

      · 請確保您的系統(tǒng)是 Linux x86_64 架構(gòu)，因為下載的 Miniconda 版本是為該架構(gòu)設計的。

      · 在運行安裝腳本之前，您可能需要使用 chmod +x Miniconda3-latest-Linux-x86_64.sh 命令給予腳本執(zhí)行權(quán)限。

      · 安裝過程中，您將被提示是否同意許可協(xié)議，以及是否將 Miniconda 初始化。通常選擇 "yes" 以完成安裝和初始化。

      · 安裝完成后，您可以使用 conda 命令來管理 Python 環(huán)境和包。

      · 如果鏈接無法訪問或解析失敗，可能是因為網(wǎng)絡問題或鏈接本身的問題。請檢查網(wǎng)絡連接，并確保鏈接是最新的和有效的。如果問題依舊，請訪問 Anaconda 的官方網(wǎng)站獲取最新的下載鏈接。

      4. 從 github 倉庫 克隆項目

      · 克隆存儲庫：

      5. 創(chuàng)建虛擬環(huán)境

      6. 安裝模型依賴庫

      · 切換到項目目錄、激活 trellis 虛擬環(huán)境、安裝 requirements.txt 依賴

      7. 下載預訓練模型

      · 下載預訓練權(quán)重

      8. 運行 gradio_demo.py 文件

      三、網(wǎng)頁演示

      出現(xiàn)以下 Gradio 頁面，即是模型已搭建完成。