正規化線形関数のソースを表示

[[Image:Rectifier and softplus functions.svg|thumb|{{nobr|''x'' {{=}} 0}}近傍での正規化線形関数（青）およびソフトプラス関数（緑）のプロット]]

'''正規化線形関数'''（せいきかせんけいかんすう、{{lang-en-short|Rectified linear function}}あるいは単に{{lang|en|rectifier}}<ref>[[整流器]]の意味</ref>とも）は、その独立変数
:<math>f(x) = x^+ = \max(0, x)</math>
の正の部分として定義される[[活性化関数]]である。上式において、''x''はニューロンへの入力である。これは[[ランプ関数]]（傾斜路関数）としても知られ、電気工学における[[整流器|半波整流回路]]と類似している。この活性化関数は、2000年にHahnloseらによって強い[[生物学]]的動機と数学的正当化を持って、動的ネットワークへ最初に導入された<ref name="Hahnloser2000">{{cite journal |first=R. |last=Hahnloser |first2=R. |last2=Sarpeshkar |first3=M. A. |last3=Mahowald |first4=R. J. |last4=Douglas |first5=H. S. |last5=Seung |title=Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit |journal=[[Nature (journal)|Nature]] |volume=405 |issue= |year=2000 |pages=947–951 |doi=10.1038/35016072 }}</ref><ref name="Hahnloser2001">{{cite conference |authors=R Hahnloser, H.S. Seung |year=2001 |title=Permitted and Forbidden Sets in Symmetric Threshold-Linear Networks|conference=NIPS 2001}}</ref>。2011年以前に広く使われていた活性化関数、例えば{{仮リンク|ロジスティック関数|en|Logistic function|label=ロジスティックシグモイド}}（これは[[確率論]]から発想を得ている。[[ロジスティック回帰]]を参照。）およびそのより実践的な<ref>{{cite encyclopedia |authors=Yann LeCun, Leon Bottou, Genevieve B. Orr and Klaus-Robert Müller |year=1998 |url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf |title=Efficient BackProp |editors=G. Orr and K. Müller |encyclopedia=Neural Networks: Tricks of the Trade |publisher=Springer}}</ref>機能的に同等な関数である[[双曲線関数|双曲線正接関数]]と比較して、より深いネットワークのより良い訓練を可能にすることが2011年に初めて実証された<ref name="glorot2011">{{cite conference|authors=Xavier Glorot, Antoine Bordes and [[Yoshua Bengio]]|first=|date=|year=2011|title=Deep sparse rectifier neural networks|url=http://jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf|conference=AISTATS|volume=|pages=|quote=Rectifier and softplus activation functions. The second one is a smooth version of the first.|via=}}</ref>。正規化線形関数は、2018年現在、[[ディープラーニング|ディープニューラルネットワーク]]のための最も人気のある活性化関数である<ref>{{cite journal |first1=Yann |last1=LeCun |first2=Yoshua |last2=Bengio |first3=Geoffrey |last3=Hinton |title=Deep learning |journal=Nature |volume=521 |issue=7553 |year=2015 |pages=436–444 |doi=10.1038/nature14539 |pmid=26017442|bibcode=2015Natur.521..436L }}</ref><ref>{{cite arXiv |last1=Ramachandran |first1=Prajit |last2=Barret |first2=Zoph |last3=Quoc |first3=V. Le |date=October 16, 2017 |title=Searching for Activation Functions |eprint=1710.05941 |class=cs.NE}}</ref>。

正規化線形関数を利用したユニットは'''正規化線形ユニット'''（rectified linear unit、'''ReLU'''）とも呼ばれる<ref name="nair2010"/>。

正規化線形ユニットはディープニューラルネットワークを用いた[[コンピュータビジョン]]<ref name="glorot2011"/>や[[音声認識]]<ref name="tothl2013">{{cite conference |authors=László Tóth |year=2013 |title=Phone Recognition with Deep Sparse Rectifier Neural Networks |conference=[[International Conference on Acoustics, Speech and Signal Processing|ICASSP]] |url=http://www.inf.u-szeged.hu/~tothl/pubs/ICASSP2013.pdf}}</ref><ref name="maas2014">Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). [https://ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf Rectifier Nonlinearities Improve Neural Network Acoustic Models]</ref>に応用されている。

== ソフトプラス ==
正規化線形関数に対する平滑化近似が[[解析関数]]
:<math>f(x) = \log(1 + e^x),</math>
であり、'''ソフトプラス'''（softplus）関数<ref>{{Cite journal|last=Dugas|first=Charles|last2=Bengio|first2=Yoshua|last3=Bélisle|first3=François|last4=Nadeau|first4=Claude|last5=Garcia|first5=René|date=2000-01-01|title=Incorporating second-order functional knowledge for better option pricing|url=http://papers.nips.cc/paper/1920-incorporating-second-order-functional-knowledge-for-better-option-pricing.pdf|journal=Proceedings of the 13th International Conference on Neural Information Processing Systems (NIPS'00)|publisher=MIT Press|volume=|pages=451–457|quote=Since the sigmoid h has a positive first derivative, its primitive, which we call softplus, is convex|via=}}</ref><ref name="glorot2011" />または'''SmoothReLU'''関数<ref>{{Cite web|url=https://software.intel.com/sites/products/documentation/doclib/daal/daal-user-and-reference-guides/daal_prog_guide/GUID-FAC73B9B-A597-4F7D-A5C4-46707E4A92A0.htm|title=Smooth Rectifier Linear Unit (SmoothReLU) Forward Layer|last=|first=|date=2017|website=Developer Guide for Intel® Data Analytics Acceleration Library|language=en-US|archive-url=|archive-date=|dead-url=|access-date=2018-12-04|edition=}}</ref>と呼ばれる。ソフトプラスの導関数はロジスティック関数<math>f'(x) = \frac{e^x}{1 + e^x}= \frac{1}{1 + e^{-x}}</math>である。ロジスティック関数は、正規化線形関数の導関数である[[ヘヴィサイドの階段関数]]の平滑化近似である。

単変数ソフトプラスの多変数一般化は、第一独立変数をゼロとした{{仮リンク|LogSumExp関数|en|LogSumExp}}
:<math>LSE_0^+(x_1,...,x_n) := LSE(0,x_1,...,x_n) = \log\left(1 + e^{x_1}+ \cdots + e^{x_n} \right).</math>
である。LogSumExp関数自身は
:<math>\mathrm{LSE}(x_1, \dots, x_n) = \log\left( e^{x_1}+ \cdots + e^{x_n} \right),</math>
であり、その勾配は{{仮リンク|ソフトマックス関数|en|Softmax function}}である。第一独立変数がゼロのソフトマックスは、ロジスティック関数の多変数一般化である。LogSumExpとソフトマックスはどちらも[[機械学習]]に用いられる。

== 派生物 ==
===ノイジーReLU===
正規化線形ユニットは[[ガウス雑音]]を含むように拡張できる。これはnoisy（雑音のある）ReLUと呼ばれ、以下の式を与える<ref name="nair2010">{{cite conference|authors=Vinod Nair and [[Geoffrey Hinton]]|first=|date=|year=2010|title=Rectified Linear Units Improve Restricted Boltzmann Machines|url=https://www.cs.toronto.edu/~hinton/absps/reluICML.pdf|conference=[[International Conference on Machine Learning|ICML]]|volume=|pages=|via=}}</ref>。
:<math>f(x) = \max(0, x + Y)</math>, with <math>Y \sim \mathcal{N}(0, \sigma(x))</math>

Noisy ReLUはコンピュータビジョン問題のための{{仮リンク|制限ボルツマンマシン|en|Restricted Boltzmann machine}}において使用され、ある程度の成功を挙げている<ref name="nair2010"/>。

=== 漏洩ReLU ===
漏洩（リーキー、Leaky）ReLUは、ユニットがアクティブでない時に小さな正の勾配を許容する<ref name="maas2014"/>。
:<math>f(x)  = \begin{cases}
    x & \mbox{if } x > 0 \\
    0.01x & \mbox{otherwise}
\end{cases}</math>

==== パラメトリックReLU ====
パラメトリックReLU（PReLU）はさらにこの着想を発展させ、漏れの係数を他のニューラルネットワークのパラメータと同時に学習する<ref name="prelu">{{cite arxiv  |eprint=1502.01852 |last1=He |first1=Kaiming |title=Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image ''Net'' Classification |last2=Zhang |first2=Xiangyu |last3=Ren |first3=Shaoqing |last4=Sun |first4=Jian |class=cs.CV |year=2015}}</ref>。
:<math>f(x)  = \begin{cases}
    x & \mbox{if } x > 0 \\
    a x & \mbox{otherwise}
\end{cases}</math>

<math>a\leq1</math>について、これは
:<math>f(x)  = \max(x, ax)</math>
と等価であり、ゆえに「マックスアウト」ネットワークとの関連があることに留意すべきである<ref name="prelu"/>。

=== ELU ===
指数関数的線形ユニット（Exponential linear unit）は、学習を高速化するため、平均活性化をゼロに近づけようと試みる。ELUははReLUよりも高い分類制度を得ることができることが示されている<ref>{{Cite arxiv  |eprint=1511.07289 |last1=Clevert |first1=Djork-Arné |title=Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs) |last2=Unterthiner |first2=Thomas |last3=Hochreiter |first3=Sepp |class=cs.LG |year=2015}}</ref>。

<math>f(x) = \begin{cases} 
x & \mbox{if } x > 0 \\ 
a(e^x-1) & \mbox{otherwise}
\end{cases}</math>

<math>a</math>はチューニングされる{{仮リンク|ハイパーパラメータ (機械学習)|en|Hyperparameter (machine learning)|label=ハイパーパラメータ}}、<math>a \geq 0</math>は定数である。

== 長所 ==
*生物学的妥当性: [[双曲線関数|tanh]]の[[反対称関係|反対称性]]と比較して、片側。
*疎な活性化: 例えば、無作為に初期化されたネットワークでは、隠れユニットの約50%のみが活性化される（ゼロでない出力を持つ）。
*より良い勾配伝搬: 両方向に飽和するシグモイド活性化関数と比較して、{{仮リンク|勾配消失問題|en|Vanishing gradient problem}}が少ない。
*効率的計算: 比較、加算、乗算のみ。
*スケールによって影響を受けない: <math>\max(0, ax) = a \max(0, x) \mbox{ for } a \geq 0</math>。

正規化線形関数は、複数のコンピュータビジョン課題を学習するために教師ありで訓練されたニューラル抽象ピラミッド（Neural Abstraction Pyramid）において特異的興奮と非特異的抑制を分離するために用いられた<ref name=NeuralAbstractionPyramid>{{cite book|last=Behnke|first=Sven|year=2003|title=Hierarchical Neural Networks for Image Interpretation|url= https://www.researchgate.net/publication/220688219_Hierarchical_Neural_Networks_for_Image_Interpretation|series=Lecture Notes in Computer Science|volume=2766|publisher=Springer|doi= 10.1007/b11963}}</ref>。2011年<ref name="glorot2011"/>、非線形関数としての正規化線形関数の使用は、[[教師なし学習|教師なし]]事前学習を必要とせずに[[教師あり学習|教師あり]]ディープニューラルネットワークの訓練を可能にすることが示されている。正規化線形ユニットは、[[シグモイド関数]]または類似の活性化関数と比較して、大きく複雑なデータセット上のディープニューラル構造のより速く、効率的な訓練を可能にする。

== 潜在的な問題 ==
*原点において微分不可能: しかしながら、その点以外ではどこでも微分可能であり、入力が0の点を埋めるために0または1の値を任意に選ぶことができる。
*原点を中心としてない
*有界でない
*Dying ReLU問題: ReLUニューロンは、実質的に全ての入力に対して不活性となる状態に入り込むことがあり得る。この状態において、勾配はこのニューロンを通って逆方向に流れないため、このニューロンは永久に不活性な状態で動かなくなり、「死」んでしまう。これは勾配消失問題の一種である。ある場合において、ネットワーク中の多くのニューロンが死状態で動かなることがありえて、これはモデル容量を著しく低下させる。この問題は高過ぎる学習率が設定されている時に典型的に起こる。代わりに、x = 0の左側に小さな正の勾配を割り当てるリーキーReLUを用いることによって問題を緩和することができる。

==出典==
{{Reflist|30em}}

==関連項目==
*[[ソフトマックス関数]]
*[[シグモイド関数]]
*{{仮リンク|トービット・モデル|en|Tobit model}}

{{DEFAULTSORT:せいきかせんけいかんすう}}
[[Category:人工ニューラルネットワーク]]