Gelu

Gelu - 20

版本

• 名稱：Gelu (GitHub)

• 網域：main

• since_version：20

• 函式：True

• 支援等級：SupportType.COMMON

• 形狀推斷：True

此運算子的版本自第 20 版起可用。

摘要

Gelu 接受一個輸入資料 (張量) 並產生一個輸出資料 (張量)，其中高斯誤差線性單元函數 \(y = 0.5 * x * (1 + erf(x/sqrt(2)))\) 逐元素應用於張量。如果屬性「approximate」設定為「tanh」，則使用函數估計 \(y = 0.5 * x * (1 + Tanh(sqrt(2/\pi) * (x + 0.044715 * x^3)))\) 並逐元素應用於張量。

屬性

• approximate - STRING (預設為 'none')

  Gelu 近似演算法："tanh"、"none" (預設)。"none"：不使用近似值。"tanh"：使用 tanh 近似值。

輸入

• X (異質) - T

  輸入張量

輸出

• Y (異質) - T

  輸出張量

類型約束

• T in ( tensor(bfloat16)、 tensor(double)、 tensor(float)、 tensor(float16) )

  將輸入和輸出類型限制為浮點張量。