初探本機 DeepSeek
DeepSeek 在農曆年前之際投下了一個震撼彈，好在並沒有對科技類美股有太多著墨，也就逃過了黑棒，但是 DeepSeek 聽起來好像很香，又好像很多人已經自建了 LLM 在幫助自已的日常工作，那麼，來折騰一下這好久沒有的折騰好了…… 工作環境： Windows LM studio 一堆 AI module 也不知道那裏看到的，找到了好香的 LM Studio 說是可以用來運行這些 AI 模型，做為一個使用者，懶得折騰那些學理了，最好就是無腦用，沒錯，無腦用，略(無)過(視)那些長篇大論，就像還不了解為什麼冰箱可以把東西變冰之前，就已經把冰箱用得行雲流水一般般地無腦用，然後，第一個 AI 好像叫做 Llama 吧，就這麼理所當然地在面前供你諮詢了，一切那麼美好，問了就答，速度還算不錯，雖然用的是個6年的老電腦，對談還算輕鬆 想當然爾，接下來就是把 DeepSeek 下載下來，依樣畫狐狸地執行、諮詢、免洗，然後就想當然爾地撞上南牆… LM Studio 的訊息一直說是系統的好像是 buffer 還是記憶體不足之類的，一爬文發現，AI 真的是蠻吃系統資源的，不管是 *pu 還是記憶體，一開始是查到要幾百g的記憶體才能跑得動，還好，真的是被嚇大的，先被嚇一嚇然後繼續用這十幾g記憶體的老電腦繼續給它玩下去，後來找到有人提到 8B 的那個 DeepSeek 8g 記憶體就可以跑，那那那，老電腦這點記憶體還是有的啊，雖然要擠掉別的程式，又搞當了一些程式，但是，沒跑起來！ 問問 LM studio 本人的原生 llama 好了，一直說是要調整 CPU GPU RAM , My sysytem settings, MOIS** bla bla，好笑， LM studio 可以調的參數本就不多，而 llama 說的就找不到，找得到的就不能調，XD，股溝大神也搜不出個什麼來，只好土法練鋼，練(亂)了(搞)幾下，還真給碰上了耗子，就把為數不多，能調的選項中有個名叫 Guardrails 的模型加載防護給...