zi2zi-pytorch 中 ReLU（Rectified Linear Unit）和 LeakyReLU（Leaky Rectified Linear Unit）差異

在 zi2zi-pytorch 的 UnetSkipConnectionBlock 中使用 nn.ReLU(True) 和 nn.LeakyReLU(0.2, True) 對字型學習的差異。

ReLU 和 LeakyReLU 的基本差異

• ReLU (Rectified Linear Unit)：
  • 當輸入值為正數時，輸出值等於輸入值。
  • 當輸入值為負數時，輸出值為 0。
  • 優點：計算效率高。
  • 缺點：可能存在「Dead ReLU」問題，即某些神經元可能永遠無法被激活。
• LeakyReLU (Leaky Rectified Linear Unit)：
  • 當輸入值為正數時，輸出值等於輸入值。
  • 當輸入值為負數時，輸出值為輸入值的 0.2 倍 (或其他設定值)。
  • 優點：解決了 Dead ReLU 問題。
  • 缺點：需要調整超參數 0.2 (Leaky 的斜率)。

對字型學習的影響

1. 梯度消失問題：
   • ReLU 在負輸入時梯度為 0，可能導致梯度消失，影響模型學習。
   • LeakyReLU 在負輸入時保留了 небольшого 的梯度，有助於緩解梯度消失問題。
2. 模型表達能力：
   • ReLU 在負輸入時直接截斷，可能損失一些信息。
   • LeakyReLU 保留了 небольшого 的負信息，可能更完整地表達特徵。
3. 訓練穩定性：
   • ReLU 可能導致訓練不穩定，出現震盪或發散。
   • LeakyReLU 在一定程度上可以提高訓練穩定性。
4. 生成字型品質：
   • 理論上，LeakyReLU 有助於生成更清晰、更完整的字型。
   • 但實際效果可能因資料集、網路結構等因素而異。

如何選擇

• 初始嘗試 ReLU：ReLU 是個簡單有效的激活函數，可以作為初始嘗試。
• 若遇到訓練問題，再考慮 LeakyReLU：如果發現訓練不穩定、生成字型品質不佳等問題，可以嘗試 LeakyReLU。
• 調整 LeakyReLU 的斜率：LeakyReLU 的斜率是個超參數，可以嘗試不同的值，找到最佳設定。

建議

在 zi2zi-pytorch 中，作者選擇了 ReLU 作為默認激活函數。您可以先使用 ReLU 進行訓練，如果效果不佳，再嘗試 LeakyReLU。同時，也建議您嘗試不同的 LeakyReLU 斜率，看看是否能提升字型生成的品質。

總結

nn.ReLU(True) 和 nn.LeakyReLU(0.2, True) 在處理負輸入值的方式上有所不同，這可能對 zi2zi-pytorch 的字型學習產生影響。您可以根據實際情況選擇適合的激活函數，並進行實驗比較，找到最佳設定。