PyTorch學(xué)習(xí)筆記：nn.Sigmoid——Sigmoid激活函數(shù)

torch.nn.Sigmoid()

功能：逐元素應(yīng)用Sigmoid函數(shù)對(duì)數(shù)據(jù)進(jìn)行激活，將元素歸一化到區(qū)間(0,1)內(nèi)

函數(shù)方程：
$$Sigmoid(x)=\sigma (x)=\frac{1}{1+e^{?x}}$$

上圖來(lái)源于PyTorch官方文檔

輸入：

• inplace：是否改變輸入數(shù)據(jù)，如果設(shè)置為True，則會(huì)直接修改輸入數(shù)據(jù)；如果設(shè)置為False，則不對(duì)輸入數(shù)據(jù)做修改

注意：

• 輸入可以是任意尺寸的數(shù)據(jù)，輸出尺寸與輸入尺寸相同

代碼案例

一般用法

import torch.nn as nn
import torch
a = torch.randn(10)
sigmoid = nn.Sigmoid()
b = sigmoid(a)
print(a)
print(b)

輸出

# 數(shù)據(jù)經(jīng)過(guò)sigmoid之前
tensor([-0.0175, -0.3315, -1.4424, -2.1318,  1.8448, -0.6835, -1.9436,  1.3432, 0.2550,  1.1898])
# 數(shù)據(jù)經(jīng)過(guò)sigmoid之后
tensor([0.4956, 0.4179, 0.1912, 0.1060, 0.8635, 0.3355, 0.1252, 0.7930, 0.5634, 0.7667])

官方文檔

nn.Sigmoid()：https://pytorch.org/docs/stable/generated/torch.nn.Sigmoid.html#torch.nn.Sigmoid

初步完稿于：2022年1月29日