基于先進(jìn)的AI邊緣計(jì)算技術(shù)，巧妙融合了目標(biāo)檢測類的AI機(jī)器視覺檢測模型，并經(jīng)過精心設(shè)計(jì)適配的外殼而成。
我們本次基于DeepSeek-R1-Distill-Qwen-32B蒸餾版INT4模型開展部署及應(yīng)用研究，選擇此模型是結(jié)合DeepSeek官網(wǎng)對(duì)GPT4o-mini、Claude3.5、o1-mini、QwQ-32B、六個(gè)蒸餾小模型在數(shù)學(xué)、通用知識(shí)、編程等方面的評(píng)測數(shù)據(jù)（見表1），通過統(tǒng)計(jì)分析（見表2），發(fā)現(xiàn)o1-mini分?jǐn)?shù)最高，其次是DeepSeek-R1-Distill-Qwen-32B，雖然DeepSeek-R1-Distill-Llama-70B參數(shù)量大但位列第三，7B和8B測試數(shù)據(jù)結(jié)果差異不大，但和14B存在一定差距，1.5B可以直接忽略。
所以，在DeepSeek開源的幾個(gè)蒸餾版模型中32B的綜合能力是性價(jià)比最強(qiáng)的，建議根據(jù)應(yīng)用場景選擇何種參數(shù)量的模型。其中AIME和MATH500是數(shù)學(xué)能力評(píng)測，GPQA是通用知識(shí)能力評(píng)測，LiveCodeBench和CodeForces是編程能力評(píng)測。
?表1 各模型的詳細(xì)評(píng)測數(shù)據(jù)
?表2 各模型評(píng)測總分排序
?表3 各蒸餾版模型的基本概況
?硬件環(huán)境：
1、CPU：12th Gen Intel(R) Core(TM) i7-12700K 3.61 GHz
2、GPU：NVIDIA GeForce RTX 3090 24GB （ECC）
3、RAM：2*DDR4 3200MHz 32.0 GB (63.7 GB 可用)
4、SSD：三星 SSD 980 500GB 600MB/秒
?系統(tǒng)環(huán)境：
1、版本：Windows 10 專業(yè)版 64位
2、版本號(hào)：22H2
3、操作系統(tǒng)內(nèi)部版本：19045.5487
?軟件環(huán)境：
1、Python == 3.9.5
2、NVIDIA Driver Version:552.22
3、CUDA Version: 12.4
?實(shí)施部署：
1、ollama安裝部署
登錄官網(wǎng)（https://ollama.com/download）下載并安裝ollama，默認(rèn)安裝在C盤。
安裝完成后，瀏覽器測試：localhost:11434，若顯示Ollama is running，則安裝成功。
2、32B模型下載運(yùn)行
◆模型下載并運(yùn)行：命令行執(zhí)行ollama run deepseek-r1:32b；
◆模型僅下載（不運(yùn)行）：命令行執(zhí)行ollama pull deepseek-r1:32b；
◆模型運(yùn)行：命令行執(zhí)行ollama run deepseek-r1:32b。
3、Dify安裝部署
1)下載并安裝docker
docker官網(wǎng)：https://www.docker.com/。
2）部署Dify
Dify項(xiàng)目下載地址：https://github.com/langgenius/dify解壓后進(jìn)入dify-main/docker目錄下，復(fù)制.env.example文件，并重命名為.env
在dify-main/docker目錄下進(jìn)入命令行，安裝dify的docker環(huán)境
安裝命令：docker compose up -d
以上圖片為已安裝好Dify所需環(huán)境的docker界面，綠點(diǎn)表示所需環(huán)境均已啟動(dòng)。
3）注冊(cè)并登錄Dify
在瀏覽器地址欄輸入：http://127.0.0.1/install
4）將本地大模型與dify關(guān)聯(lián)起來
由于dify是通過docker部署的，ollama是運(yùn)行在本地的，要想dify能夠訪問ollama提供的服務(wù)，需要獲取到本地的內(nèi)網(wǎng)IP。
配置docker下的env文件（文件末尾）
配置ollama模型
4、效果測試
創(chuàng)建了一個(gè)聊天助手，可以看到dify已經(jīng)與本地部署的大模型deepseek-r1連通了
Dify是一款開源的大語言模型(LLM)應(yīng)用開發(fā)平臺(tái)。它融合了后端即服務(wù)（Backend as Service）和LLMOps的理念，使開發(fā)者可以快速搭建生產(chǎn)級(jí)的生成式AI應(yīng)用。即使你是非技術(shù)人員，也能參與到AI應(yīng)用的定義和數(shù)據(jù)運(yùn)營過程中。由于Dify內(nèi)置了構(gòu)建 LLM 應(yīng)用所需的關(guān)鍵技術(shù)棧，包括對(duì)數(shù)百個(gè)模型的支持、直觀的Prompt編排界面、高質(zhì)量的RAG引擎、穩(wěn)健的Agent框架、靈活的流程編排，并同時(shí)提供了一套易用的界面和API。這為開發(fā)者節(jié)省了許多重復(fù)造輪子的時(shí)間，使其可以專注在創(chuàng)新和業(yè)務(wù)需求上。
開發(fā)者可以將企業(yè)內(nèi)部文檔、FAQ、規(guī)范信息等內(nèi)容上傳至知識(shí)庫進(jìn)行結(jié)構(gòu)化處理，供后續(xù)LLM查詢。相比于AI大模型內(nèi)置的靜態(tài)預(yù)訓(xùn)練數(shù)據(jù)，知識(shí)庫中的內(nèi)容能夠?qū)崟r(shí)更新，確保LLM可以訪問到最新的信息，避免因信息過時(shí)或遺漏而產(chǎn)生的問題。LLM 接收到用戶的問題后，將首先基于關(guān)鍵詞在知識(shí)庫內(nèi)檢索內(nèi)容。知識(shí)庫將根據(jù)關(guān)鍵詞，召回相關(guān)度排名較高的內(nèi)容區(qū)塊，向LLM提供關(guān)鍵上下文以輔助其生成更加精準(zhǔn)的回答。開發(fā)者可以通過此方式確保LLM不僅僅依賴于訓(xùn)練數(shù)據(jù)中的知識(shí)，還能夠處理來自實(shí)時(shí)文檔和數(shù)據(jù)庫的動(dòng)態(tài)數(shù)據(jù)，從而提高回答的準(zhǔn)確性和相關(guān)性。
案例場景：構(gòu)建一個(gè)智能問答應(yīng)用，用于智谷事務(wù)所新入職員工快速了解事務(wù)所工作內(nèi)容、服務(wù)能力等，便于新同事快速融入團(tuán)隊(duì)工作。同時(shí)，可根據(jù)需求定制化生成文字材料，例如，培訓(xùn)大綱、講義等。
1、上傳文件
1）下載向量模型bge-m3
命令行執(zhí)行：ollama pull bge-m3
2)添加向量模型bge-m3到Dify的Ollama模型中
3）創(chuàng)建知識(shí)庫，將所需文件上傳到知識(shí)庫并設(shè)置處理規(guī)則，按需要選擇各種配置。
2、應(yīng)用配置
1）創(chuàng)建智能體（AGENT），命名為小智。
2）編排與調(diào)試
在編排界面設(shè)置好提示詞，將之前創(chuàng)建的知識(shí)庫作為智能體小智的上下文，根據(jù)需要可以配置聯(lián)網(wǎng)搜索等工具，這里使用的是Tavily。
在調(diào)試過程中需要根據(jù)智能體回答效果修改你的提示詞，直到達(dá)到你想要的效果。
每次修改編排后需要更新才會(huì)保存并生效。
經(jīng)調(diào)試后，如果沒有問題，點(diǎn)擊運(yùn)行，就可以發(fā)布使用了。
3、效果測試
DeepSeek的橫空出世，以極低成本實(shí)現(xiàn)極致性能迅速引爆全球，成為業(yè)界公認(rèn)領(lǐng)先的LLM模型。同時(shí)，完全開源+免費(fèi)商用的DeepSeek將模型訓(xùn)練和使用的成本大幅降低，進(jìn)一步加速普惠AI進(jìn)程。因此，DeepSeek的爆火使得企業(yè)對(duì)其進(jìn)行接入和應(yīng)用勢(shì)在必行，進(jìn)一步加速大模型在行業(yè)走深向?qū)崱?/span>
盡管DeepSeek的出現(xiàn)為AI產(chǎn)業(yè)帶來了新的發(fā)展契機(jī)，但AI產(chǎn)業(yè)的技術(shù)持續(xù)創(chuàng)新不會(huì)變、持續(xù)深入行業(yè)不會(huì)變、多種模型需求不會(huì)變、算力需求不斷增大不會(huì)變、大模型在企業(yè)落地的系統(tǒng)化方法不會(huì)變。在應(yīng)用DeepSeek時(shí)不能一味盲目跟風(fēng)，更應(yīng)該秉持長期主義，智谷事務(wù)所將結(jié)合自身發(fā)展情況和行業(yè)特性，著眼長遠(yuǎn)，看準(zhǔn)長期趨勢(shì)及未來發(fā)展的基本盤積極布局，在不變中堅(jiān)守，在變化中求索。
