.. role:: hidden
    :class: hidden-section

torch.nn
===================================

.. automodule:: torch.nn
.. currentmodule:: torch.nn

Parameters
----------

.. autoclass:: Parameter
    :members:

Containers
----------------------------------

:hidden:`Module`
~~~~~~~~~~~~~~~~

.. autoclass:: Module
    :members:

:hidden:`Sequential`
~~~~~~~~~~~~~~~~~~~~

.. autoclass:: Sequential
    :members:

:hidden:`ModuleList`
~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ModuleList
    :members:

:hidden:`ModuleDict`
~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ModuleDict
    :members:

:hidden:`ParameterList`
~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ParameterList
    :members:

:hidden:`ParameterDict`
~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ParameterDict
    :members:

Convolution layers
----------------------------------

:hidden:`Conv1d`
~~~~~~~~~~~~~~~~

.. autoclass:: Conv1d
    :members:

:hidden:`Conv2d`
~~~~~~~~~~~~~~~~

.. autoclass:: Conv2d
    :members:

:hidden:`Conv3d`
~~~~~~~~~~~~~~~~

.. autoclass:: Conv3d
    :members:

:hidden:`ConvTranspose1d`
~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ConvTranspose1d
    :members:

:hidden:`ConvTranspose2d`
~~~~~~~~~~~~~~~~~~~~~~~~~


.. autoclass:: ConvTranspose2d
    :members:

:hidden:`ConvTranspose3d`
~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ConvTranspose3d
    :members:

:hidden:`Unfold`
~~~~~~~~~~~~~~~~

.. autoclass:: Unfold
    :members:

:hidden:`Fold`
~~~~~~~~~~~~~~

.. autoclass:: Fold
    :members:


Pooling layers
----------------------------------

:hidden:`MaxPool1d`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: MaxPool1d
    :members:

:hidden:`MaxPool2d`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: MaxPool2d
    :members:

:hidden:`MaxPool3d`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: MaxPool3d
    :members:

:hidden:`MaxUnpool1d`
~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: MaxUnpool1d
    :members:

:hidden:`MaxUnpool2d`
~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: MaxUnpool2d
    :members:

:hidden:`MaxUnpool3d`
~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: MaxUnpool3d
    :members:

:hidden:`AvgPool1d`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: AvgPool1d
    :members:

:hidden:`AvgPool2d`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: AvgPool2d
    :members:

:hidden:`AvgPool3d`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: AvgPool3d
    :members:

:hidden:`FractionalMaxPool2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: FractionalMaxPool2d
    :members:

:hidden:`LPPool1d`
~~~~~~~~~~~~~~~~~~

.. autoclass:: LPPool1d
    :members:

:hidden:`LPPool2d`
~~~~~~~~~~~~~~~~~~

.. autoclass:: LPPool2d
    :members:

:hidden:`AdaptiveMaxPool1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: AdaptiveMaxPool1d
    :members:

:hidden:`AdaptiveMaxPool2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: AdaptiveMaxPool2d
    :members:

:hidden:`AdaptiveMaxPool3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: AdaptiveMaxPool3d
    :members:

:hidden:`AdaptiveAvgPool1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: AdaptiveAvgPool1d
    :members:

:hidden:`AdaptiveAvgPool2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: AdaptiveAvgPool2d
    :members:

:hidden:`AdaptiveAvgPool3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: AdaptiveAvgPool3d
    :members:


Padding layers
--------------

:hidden:`ReflectionPad1d`
~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ReflectionPad1d
    :members:

:hidden:`ReflectionPad2d`
~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ReflectionPad2d
    :members:

:hidden:`ReplicationPad1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ReplicationPad1d
    :members:

:hidden:`ReplicationPad2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ReplicationPad2d
    :members:

:hidden:`ReplicationPad3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ReplicationPad3d
    :members:

:hidden:`ZeroPad2d`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: ZeroPad2d
    :members:

:hidden:`ConstantPad1d`
~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ConstantPad1d
    :members:

:hidden:`ConstantPad2d`
~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ConstantPad2d
    :members:

:hidden:`ConstantPad3d`
~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: ConstantPad3d
    :members:


Non-linear activations (weighted sum, nonlinearity)
---------------------------------------------------

:hidden:`ELU`
~~~~~~~~~~~~~

.. autoclass:: ELU
    :members:

:hidden:`Hardshrink`
~~~~~~~~~~~~~~~~~~~~

.. autoclass:: Hardshrink
    :members:

:hidden:`Hardtanh`
~~~~~~~~~~~~~~~~~~

.. autoclass:: Hardtanh
    :members:

:hidden:`LeakyReLU`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: LeakyReLU
    :members:

:hidden:`LogSigmoid`
~~~~~~~~~~~~~~~~~~~~

.. autoclass:: LogSigmoid
    :members:

:hidden:`PReLU`
~~~~~~~~~~~~~~~

.. autoclass:: PReLU
    :members:

:hidden:`ReLU`
~~~~~~~~~~~~~~

.. autoclass:: ReLU
    :members:

:hidden:`ReLU6`
~~~~~~~~~~~~~~~

.. autoclass:: ReLU6
    :members:

:hidden:`RReLU`
~~~~~~~~~~~~~~~

.. autoclass:: RReLU
    :members:

:hidden:`SELU`
~~~~~~~~~~~~~~

.. autoclass:: SELU
    :members:

:hidden:`CELU`
~~~~~~~~~~~~~~

.. autoclass:: CELU
    :members:

:hidden:`Sigmoid`
~~~~~~~~~~~~~~~~~

.. autoclass:: Sigmoid
    :members:

:hidden:`Softplus`
~~~~~~~~~~~~~~~~~~

.. autoclass:: Softplus
    :members:

:hidden:`Softshrink`
~~~~~~~~~~~~~~~~~~~~

.. autoclass:: Softshrink
    :members:

:hidden:`Softsign`
~~~~~~~~~~~~~~~~~~

.. autoclass:: Softsign
    :members:

:hidden:`Tanh`
~~~~~~~~~~~~~~

.. autoclass:: Tanh
    :members:

:hidden:`Tanhshrink`
~~~~~~~~~~~~~~~~~~~~

.. autoclass:: Tanhshrink
    :members:

:hidden:`Threshold`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: Threshold
    :members:

Non-linear activations (other)
------------------------------

:hidden:`Softmin`
~~~~~~~~~~~~~~~~~

.. autoclass:: Softmin
    :members:

:hidden:`Softmax`
~~~~~~~~~~~~~~~~~

.. autoclass:: Softmax
    :members:

:hidden:`Softmax2d`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: Softmax2d
    :members:

:hidden:`LogSoftmax`
~~~~~~~~~~~~~~~~~~~~

.. autoclass:: LogSoftmax
    :members:

:hidden:`AdaptiveLogSoftmaxWithLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: AdaptiveLogSoftmaxWithLoss
    :members:

Normalization layers
----------------------------------

:hidden:`BatchNorm1d`
~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: BatchNorm1d
    :members:

:hidden:`BatchNorm2d`
~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: BatchNorm2d
    :members:

:hidden:`BatchNorm3d`
~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: BatchNorm3d
    :members:

:hidden:`GroupNorm`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: GroupNorm
    :members:

:hidden:`InstanceNorm1d`
~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: InstanceNorm1d
    :members:

:hidden:`InstanceNorm2d`
~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: InstanceNorm2d
    :members:

:hidden:`InstanceNorm3d`
~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: InstanceNorm3d
    :members:

:hidden:`LayerNorm`
~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: LayerNorm
    :members:

:hidden:`LocalResponseNorm`
~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: LocalResponseNorm
    :members:

Recurrent layers
----------------------------------

:hidden:`RNN`
~~~~~~~~~~~~~

.. autoclass:: RNN
    :members:

:hidden:`LSTM`
~~~~~~~~~~~~~~

.. autoclass:: LSTM
    :members:

:hidden:`GRU`
~~~~~~~~~~~~~

.. autoclass:: GRU
    :members:

:hidden:`RNNCell`
~~~~~~~~~~~~~~~~~

.. autoclass:: RNNCell
    :members:

:hidden:`LSTMCell`
~~~~~~~~~~~~~~~~~~

.. autoclass:: LSTMCell
    :members:

:hidden:`GRUCell`
~~~~~~~~~~~~~~~~~

.. autoclass:: GRUCell
    :members:

Linear layers
----------------------------------

:hidden:`Linear`
~~~~~~~~~~~~~~~~

.. autoclass:: Linear
    :members:

:hidden:`Bilinear`
~~~~~~~~~~~~~~~~~~

.. autoclass:: Bilinear
    :members:

Dropout layers
----------------------------------

:hidden:`Dropout`
~~~~~~~~~~~~~~~~~

.. autoclass:: Dropout
    :members:

:hidden:`Dropout2d`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: Dropout2d
    :members:

:hidden:`Dropout3d`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: Dropout3d
    :members:

:hidden:`AlphaDropout`
~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: AlphaDropout
    :members:


Sparse layers
----------------------------------

:hidden:`Embedding`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: Embedding
    :members:

:hidden:`EmbeddingBag`
~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: EmbeddingBag
    :members:

Distance functions
----------------------------------

:hidden:`CosineSimilarity`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: CosineSimilarity
    :members:

:hidden:`PairwiseDistance`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: PairwiseDistance
    :members:


Loss functions
----------------------------------

:hidden:`L1Loss`
~~~~~~~~~~~~~~~~

.. autoclass:: L1Loss
    :members:

:hidden:`MSELoss`
~~~~~~~~~~~~~~~~~

.. autoclass:: MSELoss
    :members:

:hidden:`CrossEntropyLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: CrossEntropyLoss
    :members:

:hidden:`CTCLoss`
~~~~~~~~~~~~~~~~~

.. autoclass:: CTCLoss
    :members:

:hidden:`NLLLoss`
~~~~~~~~~~~~~~~~~

.. autoclass:: NLLLoss
    :members:

:hidden:`PoissonNLLLoss`
~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: PoissonNLLLoss
    :members:

:hidden:`KLDivLoss`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: KLDivLoss
    :members:

:hidden:`BCELoss`
~~~~~~~~~~~~~~~~~~~

.. autoclass:: BCELoss
    :members:

:hidden:`BCEWithLogitsLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: BCEWithLogitsLoss
    :members:

:hidden:`MarginRankingLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: MarginRankingLoss
    :members:

:hidden:`HingeEmbeddingLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: HingeEmbeddingLoss
    :members:

:hidden:`MultiLabelMarginLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: MultiLabelMarginLoss
    :members:

:hidden:`SmoothL1Loss`
~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: SmoothL1Loss
    :members:

:hidden:`SoftMarginLoss`
~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: SoftMarginLoss
    :members:

:hidden:`MultiLabelSoftMarginLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: MultiLabelSoftMarginLoss
    :members:

:hidden:`CosineEmbeddingLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: CosineEmbeddingLoss
    :members:

:hidden:`MultiMarginLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: MultiMarginLoss
    :members:

:hidden:`TripletMarginLoss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: TripletMarginLoss
    :members:


Vision layers
----------------

:hidden:`PixelShuffle`
~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: PixelShuffle
    :members:

:hidden:`Upsample`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: Upsample
    :members:

:hidden:`UpsamplingNearest2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: UpsamplingNearest2d
    :members:

:hidden:`UpsamplingBilinear2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: UpsamplingBilinear2d
    :members:


DataParallel layers (multi-GPU, distributed)
--------------------------------------------

:hidden:`DataParallel`
~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: DataParallel
    :members:

:hidden:`DistributedDataParallel`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: torch.nn.parallel.DistributedDataParallel
    :members:

:hidden:`DistributedDataParallelCPU`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autoclass:: torch.nn.parallel.DistributedDataParallelCPU
    :members:


Utilities
---------

:hidden:`clip_grad_norm_`
~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.clip_grad_norm_

:hidden:`clip_grad_value_`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.clip_grad_value_

:hidden:`parameters_to_vector`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.parameters_to_vector

:hidden:`vector_to_parameters`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.vector_to_parameters

:hidden:`weight_norm`
~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.weight_norm

:hidden:`remove_weight_norm`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.remove_weight_norm

:hidden:`spectral_norm`
~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.spectral_norm

:hidden:`remove_spectral_norm`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.remove_spectral_norm


.. currentmodule:: torch.nn.utils.rnn

:hidden:`PackedSequence`
~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.rnn.PackedSequence


:hidden:`pack_padded_sequence`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.rnn.pack_padded_sequence


:hidden:`pad_packed_sequence`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.rnn.pad_packed_sequence


:hidden:`pad_sequence`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.rnn.pad_sequence


:hidden:`pack_sequence`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.utils.rnn.pack_sequence


torch.nn.functional
===================

.. currentmodule:: torch.nn.functional

Convolution functions
----------------------------------

:hidden:`conv1d`
~~~~~~~~~~~~~~~~

.. autofunction:: conv1d

:hidden:`conv2d`
~~~~~~~~~~~~~~~~

.. autofunction:: conv2d

:hidden:`conv3d`
~~~~~~~~~~~~~~~~

.. autofunction:: conv3d

:hidden:`conv_transpose1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: conv_transpose1d

:hidden:`conv_transpose2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: conv_transpose2d

:hidden:`conv_transpose3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: conv_transpose3d

:hidden:`unfold`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: unfold

:hidden:`fold`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: fold

Pooling functions
----------------------------------

:hidden:`avg_pool1d`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: avg_pool1d

:hidden:`avg_pool2d`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: avg_pool2d

:hidden:`avg_pool3d`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: avg_pool3d

:hidden:`max_pool1d`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: max_pool1d

:hidden:`max_pool2d`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: max_pool2d

:hidden:`max_pool3d`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: max_pool3d

:hidden:`max_unpool1d`
~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: max_unpool1d

:hidden:`max_unpool2d`
~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: max_unpool2d

:hidden:`max_unpool3d`
~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: max_unpool3d

:hidden:`lp_pool1d`
~~~~~~~~~~~~~~~~~~~

.. autofunction:: lp_pool1d

:hidden:`lp_pool2d`
~~~~~~~~~~~~~~~~~~~

.. autofunction:: lp_pool2d

:hidden:`adaptive_max_pool1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: adaptive_max_pool1d

:hidden:`adaptive_max_pool2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: adaptive_max_pool2d

:hidden:`adaptive_max_pool3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: adaptive_max_pool3d

:hidden:`adaptive_avg_pool1d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: adaptive_avg_pool1d

:hidden:`adaptive_avg_pool2d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: adaptive_avg_pool2d

:hidden:`adaptive_avg_pool3d`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: adaptive_avg_pool3d


Non-linear activation functions
-------------------------------

:hidden:`threshold`
~~~~~~~~~~~~~~~~~~~

.. autofunction:: threshold
.. autofunction:: threshold_


:hidden:`relu`
~~~~~~~~~~~~~~

.. autofunction:: relu
.. autofunction:: relu_

:hidden:`hardtanh`
~~~~~~~~~~~~~~~~~~

.. autofunction:: hardtanh
.. autofunction:: hardtanh_

:hidden:`relu6`
~~~~~~~~~~~~~~~

.. autofunction:: relu6

:hidden:`elu`
~~~~~~~~~~~~~

.. autofunction:: elu
.. autofunction:: elu_

:hidden:`selu`
~~~~~~~~~~~~~~

.. autofunction:: selu

:hidden:`celu`
~~~~~~~~~~~~~~

.. autofunction:: celu

:hidden:`leaky_relu`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: leaky_relu
.. autofunction:: leaky_relu_

:hidden:`prelu`
~~~~~~~~~~~~~~~

.. autofunction:: prelu

:hidden:`rrelu`
~~~~~~~~~~~~~~~

.. autofunction:: rrelu
.. autofunction:: rrelu_

:hidden:`glu`
~~~~~~~~~~~~~~~

.. autofunction:: glu

:hidden:`logsigmoid`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: logsigmoid

:hidden:`hardshrink`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: hardshrink

:hidden:`tanhshrink`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: tanhshrink

:hidden:`softsign`
~~~~~~~~~~~~~~~~~~

.. autofunction:: softsign

:hidden:`softplus`
~~~~~~~~~~~~~~~~~~

.. autofunction:: softplus

:hidden:`softmin`
~~~~~~~~~~~~~~~~~

.. autofunction:: softmin

:hidden:`softmax`
~~~~~~~~~~~~~~~~~

.. autofunction:: softmax

:hidden:`softshrink`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: softshrink

:hidden:`gumbel_softmax`
~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: gumbel_softmax

:hidden:`log_softmax`
~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: log_softmax

:hidden:`tanh`
~~~~~~~~~~~~~~

.. autofunction:: tanh

:hidden:`sigmoid`
~~~~~~~~~~~~~~~~~

.. autofunction:: sigmoid

Normalization functions
-----------------------

:hidden:`batch_norm`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: batch_norm

:hidden:`instance_norm`
~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: instance_norm

:hidden:`layer_norm`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: layer_norm

:hidden:`local_response_norm`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: local_response_norm

:hidden:`normalize`
~~~~~~~~~~~~~~~~~~~~

.. autofunction:: normalize

Linear functions
----------------

:hidden:`linear`
~~~~~~~~~~~~~~~~

.. autofunction:: linear

:hidden:`bilinear`
~~~~~~~~~~~~~~~~~~

.. autofunction:: bilinear

Dropout functions
-----------------

:hidden:`dropout`
~~~~~~~~~~~~~~~~~

.. autofunction:: dropout

:hidden:`alpha_dropout`
~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: alpha_dropout

:hidden:`dropout2d`
~~~~~~~~~~~~~~~~~~~

.. autofunction:: dropout2d

:hidden:`dropout3d`
~~~~~~~~~~~~~~~~~~~

.. autofunction:: dropout3d

Sparse functions
----------------------------------

:hidden:`embedding`
~~~~~~~~~~~~~~~~~~~

.. autofunction:: embedding

:hidden:`embedding_bag`
~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: embedding_bag

Distance functions
----------------------------------

:hidden:`pairwise_distance`
~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: pairwise_distance

:hidden:`cosine_similarity`
~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: cosine_similarity

:hidden:`pdist`
~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: pdist


Loss functions
--------------

:hidden:`binary_cross_entropy`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: binary_cross_entropy

:hidden:`binary_cross_entropy_with_logits`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: binary_cross_entropy_with_logits

:hidden:`poisson_nll_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: poisson_nll_loss

:hidden:`cosine_embedding_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: cosine_embedding_loss

:hidden:`cross_entropy`
~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: cross_entropy

:hidden:`ctc_loss`
~~~~~~~~~~~~~~~~~~

.. autofunction:: ctc_loss

:hidden:`hinge_embedding_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: hinge_embedding_loss

:hidden:`kl_div`
~~~~~~~~~~~~~~~~

.. autofunction:: kl_div

:hidden:`l1_loss`
~~~~~~~~~~~~~~~~~

.. autofunction:: l1_loss

:hidden:`mse_loss`
~~~~~~~~~~~~~~~~~~

.. autofunction:: mse_loss

:hidden:`margin_ranking_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: margin_ranking_loss

:hidden:`multilabel_margin_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: multilabel_margin_loss

:hidden:`multilabel_soft_margin_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: multilabel_soft_margin_loss

:hidden:`multi_margin_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: multi_margin_loss

:hidden:`nll_loss`
~~~~~~~~~~~~~~~~~~

.. autofunction:: nll_loss

:hidden:`smooth_l1_loss`
~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: smooth_l1_loss

:hidden:`soft_margin_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: soft_margin_loss

:hidden:`triplet_margin_loss`
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: triplet_margin_loss

Vision functions
----------------

:hidden:`pixel_shuffle`
~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: pixel_shuffle

:hidden:`pad`
~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: pad

:hidden:`interpolate`
~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: interpolate

:hidden:`upsample`
~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: upsample

:hidden:`upsample_nearest`
~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: upsample_nearest

:hidden:`upsample_bilinear`
~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: upsample_bilinear

:hidden:`grid_sample`
~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: grid_sample

:hidden:`affine_grid`
~~~~~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: affine_grid

DataParallel functions (multi-GPU, distributed)
-----------------------------------------------

:hidden:`data_parallel`
~~~~~~~~~~~~~~~~~~~~~~~

.. autofunction:: torch.nn.parallel.data_parallel


torch.nn.init
=============

.. currentmodule:: torch.nn.init
.. autofunction:: calculate_gain
.. autofunction:: uniform_
.. autofunction:: normal_
.. autofunction:: constant_
.. autofunction:: eye_
.. autofunction:: dirac_
.. autofunction:: xavier_uniform_
.. autofunction:: xavier_normal_
.. autofunction:: kaiming_uniform_
.. autofunction:: kaiming_normal_
.. autofunction:: orthogonal_
.. autofunction:: sparse_