鏈式法則 · 兩個斜率的相乘

📖 為什麼是相乘，不是相加？

當你把兩個函式串起來 — $f$ 先把 $x$ 變成 $y$ ， $g$ 再把 $y$ 變成 $z$ — 想知道整體 $z$ 對 $x$ 的變化率，憑直覺應該是把兩段「比例」乘起來：

\frac{d z}{d x} = \frac{d z}{d y} \cdot \frac{d y}{d x}

萊布尼茲的記號刻意這樣寫，就是要讓這條規則看起來像「分數消去」。但它不是真的分數消去 — 兩個比值是兩個獨立極限，但結果剛好就是相乘。

(g \circ f)^{'} (x) = g^{'} (f (x)) \cdot f^{'} (x)

預設： $f (x) = x^{2}$ 、 $g (y) = sin (y)$ ，所以 $(g \circ f) (x) = sin (x^{2})$ 。在 $x = 1$ 時， $f^{'} (1) = 2$ 、 $g^{'} (1) = cos (1) \approx 0.54$ ，所以複合斜率 ≈ 1.08。對照看下面的數字。
把 $x$ 滑到 $x = 0$ ： $f^{'} (0) = 0$ 。不管 $g$ 在那邊斜率是多少，乘 0 就是 0 — 下面的切線會變水平。這就是為什麼「 $f$ 卡住」會讓整個複合也卡住。
選 $f (x) = e^{x}$ 、 $g (y) = e^{y}$ ：複合是 $e^{e^{x}}$ ，斜率是 $e^{e^{x}} \cdot e^{x}$ — 增長速度爆炸。試著拖 $x$ 看數字怎麼瘋掉。
選 $g (y) = sin (y)$ 、 $f (x) = e^{x}$ ：複合是 $sin (e^{x})$ 。隨著 $x$ 變大， $e^{x}$ 快速增長，餵進 sin 後變成超快速振盪 — 上面的曲線單調，下面卻在抖動。

鏈式法則是反向傳播（backpropagation）的核心。神經網路就是一長串函式合成 — 輸入經過很多層線性 + 非線性變換，得到輸出。要算「損失對某個權重的梯度」，就是不斷套鏈式法則，從輸出層一路乘回去：

\frac{\partial L}{\partial w} = \frac{\partial L}{\partial z _{n}} \cdot \frac{\partial z _{n}}{\partial z _{n - 1}} \dots \frac{\partial z _{1}}{\partial w}

整個「向後傳播」其實只是把這條規則重複應用很多次。下一章看完梯度後，你會看到這個更具體。

注意公式裡寫的是 $g^{'} (f (x))$ — 是 $g$ 的導數在 $y = f (x)$ 這個位置算出來的值，不是在 $x$ 算的。也就是說， $g$ 不知道 $x$ 是什麼，它只看到 $f$ 餵進來的那個值。

右邊面板中間那個 $g^{'} (f (x))$ 數字 — 不是 $g^{'} (x)$ ，那是不同的東西。試著切換 $f$ 不換 $g$ ，看這個值怎麼跟著 $f (x)$ 一起變。