Mish

Mish - 22

版本

  • 名稱: Mish (GitHub)

  • 網域: main

  • since_version: 22

  • 函式: True

  • 支援層級: SupportType.COMMON

  • 形狀推論: True

此版本的運算子自版本 22 起可用。

摘要

Mish：一種自我正規化的非單調神經激活函式。

使用公式在輸入張量 X 上逐元素執行線性單元

mish(x) = x * tanh(softplus(x)) = x * tanh(ln(1 + e^{x}))

函式主體

此運算子的函式定義。

<
  domain: "",
  opset_import: ["" : 22]
>
Mish (X) => (Y)
{
   Softplus_X = Softplus (X)
   TanHSoftplusX = Tanh (Softplus_X)
   Y = Mul (X, TanHSoftplusX)
}

輸入

  • X (異質) - T

    輸入張量

輸出

  • Y (異質) - T

    輸出張量

類型限制

  • T 在 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) )

    將輸入 X 和輸出類型限制為浮點張量。

Mish - 18

版本

  • 名稱: Mish (GitHub)

  • 網域: main

  • since_version: 18

  • 函式: True

  • 支援層級: SupportType.COMMON

  • 形狀推論: True

此版本的運算子自版本 18 起可用。

摘要

Mish：一種自我正規化的非單調神經激活函式。

使用公式在輸入張量 X 上逐元素執行線性單元

mish(x) = x * tanh(softplus(x)) = x * tanh(ln(1 + e^{x}))

函式主體

此運算子的函式定義。

<
  domain: "",
  opset_import: ["" : 18]
>
Mish (X) => (Y)
{
   Softplus_X = Softplus (X)
   TanHSoftplusX = Tanh (Softplus_X)
   Y = Mul (X, TanHSoftplusX)
}

輸入

  • X (異質) - T

    輸入張量

輸出

  • Y (異質) - T

    輸出張量

類型限制

  • T 在 ( tensor(double), tensor(float), tensor(float16) )

    將輸入 X 和輸出類型限制為浮點張量。