什麼是 Agent · 載入本地 Qwen

歡迎來到 AI Agent → 手刻 AI Agent。

上一條軌道你從零刻了一個迷你 GPT——徹底搞懂了 LLM 內部。但那隻模型太小、太弱,沒辦法做事。這條軌道換個目標:不再追求「理解內部」,而是追求讓模型真的去做事情。要做事,就得換一個「真正能用」的模型,並且在它外面親手刻一圈控制邏輯。

那圈邏輯,就是 Agent。

一句話心智模型

Agent = LLM(推理引擎) + 工具(tools) + 迴圈(loop)。

LLM 本身只會做一件事:給它一串文字,它接著吐出一串文字。它不會查現在幾點、不會算 48279 × 1.07、更碰不到網路、檔案、資料庫。這些「碰得到外面世界」的能力,叫工具。而讓模型「想一步 → 用一個工具 → 看結果 → 再想一步」反覆進行的那個迴圈,就是把一顆語言模型變成一個會做事的 agent 的關鍵。

這條軌道零框架——不包 LangChain、不包任何 agent 套件。每一圈迴圈、每一次工具呼叫的解析,全部你自己寫。黑箱的只有模型權重本身,其餘都看得見、改得動。

這堂課你會學到

• 建立 Agent = LLM + 工具 + 迴圈 的心智模型
• 在免費 Colab T4 上,用 4-bit 量化載入 Qwen2.5-1.5B-Instruct
• 寫一個 chat(messages) 小工具,跟模型對話
• 親眼看到模型的極限:問它「現在幾點」,它只能瞎掰——這正是我們需要工具的理由

為什麼是本地 Qwen?

• 零金鑰:不用申請任何 API key,免費 T4 就能跑,任何人一鍵開 Colab 就動。
• 4-bit 量化:bitsandbytes 把模型體積砍掉約 75%,1.5B 的模型量化後只吃 1–2GB 顯示記憶體,T4 的 15GB 綽綽有餘。
• 中文開源最強之一:Qwen 系列在 CJK 表現好,而且原生支援 tool calling 格式,很適合教學。

💡 第 08 課會給一個選修 sidebar:把本地 Qwen 換成 Gemini / Groq 免費 API,體驗更強模型的差異。但前七課全部跑在本地,不依賴任何外部服務。

模型的極限就是工具的起點

預覽圖點出這堂課的高潮:同一個問題,「2 的 10 次方是多少」模型答得出來(它背過),但**「現在台北時間幾點」模型只能瞎掰一個時間**——因為它的世界停在訓練資料那一刻,沒有時鐘。

這個「答不出來」不是 bug,而是整條軌道的起點:下一課,我們就教模型在卡住時,改成「呼叫一個工具」。

👉 建議先學完 llm/from-scratch(理解 LLM 在做什麼)與 ml/pytorch(熟悉 transformers 生態)。Colab 記得開 T4 GPU:執行階段 → 變更執行階段類型 → T4 GPU。