在字型風格轉換任務中，SkipConnectionBlock 中 LeakyReLU 的 negative_slope（即負斜率）的選擇

在字型風格轉換任務中，UNetSkipConnectionBlock 中 LeakyReLU 的 negative_slope（即負斜率）的選擇，會影響網路學習的細節程度和穩定性。通常，0.2 和 0.1 都是常見的選擇，但它們之間存在一些差異：

LeakyReLU(0.2, True)

• 較大的負斜率：
  • 允許更多的負值通過，這意味著網路可能會保留更多的細節資訊。
  • 可能導致更快的學習速度，但也可能增加訓練的不穩定性。
• 適用場景：
  • 當任務需要保留較多細節時（例如，字型的細微筆畫差異）。
  • 當訓練資料足夠豐富，可以承受一定程度的不穩定性時。

LeakyReLU(0.1, True)

• 較小的負斜率：
  • 限制負值通過的程度，有助於平滑學習過程。
  • 可能提高訓練的穩定性，但也可能導致細節資訊的損失。
• 適用場景：
  • 當訓練資料較少或任務對細節要求不高時。
  • 當需要更穩定的訓練過程時。

針對 Noto Sans → Zen Maru Gothic 的字型風格轉換：

• 由於字型風格轉換通常需要保留字型的細微特徵（例如，筆畫的粗細、圓角等），因此 LeakyReLU(0.2, True) 可能更適合。
• 然而，如果訓練過程中出現不穩定現象（例如，損失震盪、生成結果出現噪點），則可以嘗試使用 LeakyReLU(0.1, True) 以提高穩定性。
• 建議：
  • 從LeakyReLU(0.2, True)開始嘗試。
  • 在訓練過程中監控損失和生成結果。
  • 如果出現不穩定現象，則嘗試使用LeakyReLU(0.1, True)。
  • 可以嘗試其他負斜率值，例如 0.15，以找到最佳平衡點。

總結：

• 0.2 強調細節，0.1 強調穩定。
• 根據具體任務和訓練情況進行選擇。
• 實驗是找到最佳數值的最好方法。