神經(jīng)網(wǎng)絡(luò)已知可以擬合任意函數(shù)

其實(shí)，所謂神經(jīng)網(wǎng)絡(luò)能逼近任意函數(shù)，這里的函數(shù)也不是毫無限制的。Balázs Csanád Csáji在2001年提出了Universal approximation theorem（一般逼近定理），指出具有一個(gè)包含有限神經(jīng)元（多層感知器，MLP）的隱藏層的前饋網(wǎng)絡(luò)，可以逼近歐幾里得空間（R^n）緊致子集（compact subset）上的連續(xù)函數(shù)。

那么其他的模型呢?

而其他非線性模型未必可以像神經(jīng)網(wǎng)絡(luò)一樣具備逼近任意連續(xù)函數(shù)的能力。

比如最常用的樹模型

就拿決策樹來說吧，最近的一項(xiàng)成果是2013年IBM研究院的Vitaly Feldman等提出的低秩決策樹（Low-rank Decision Tree）可以逼近次模函數(shù)（Submodular Function）。（Representation, Approximation and Learning of Submodular Functions Using Low-rank Decision Trees，arXiv:1304.0730）。

另外，可以逼近，只是理論上的。理論上能夠逼近，和實(shí)際應(yīng)用中，模型能夠高效地學(xué)習(xí)數(shù)據(jù)，解決手頭的問題，其實(shí)是兩回事。