tiphareth: для связи

(Читать комментарии) - (Добавить комментарий)

oort
2019-05-17 00:40 (ссылка)

а как колмогорова-арнольда можно использовать?

обычно бывает нужно только это
https://en.wikipedia.org/wiki/Universal_approximation_theorem

(что можно подставлять в активационную функцию линейные отображения и брать линейную комбинацию -- и как угодно близко приближать любую непрерывную функцию этим)

которое верно для вообще любой активационной функции, подойдет любая непостоянная непрерывная

(Ответить) (Уровень выше) (Ветвь дискуссии)

tiphareth
2019-05-17 08:40 (ссылка)

Константин, насколько я понимаю, предложил кодировать
функции нескольких переменных суммой нескольких функций
от одной переменной, воспользовавшись теоремой
Арнольда-Колмогорова о суперпозиции

в силу довольно диких свойств функции \Phi
подозреваю, что непросто ее применить

(Ответить) (Уровень выше) (Ветвь дискуссии)

oort
2019-05-18 07:02 (ссылка)

ну может что-то и можно сделать, только придется допускать еще деревья в качестве областей значений, функции портятся когда арнольд вкладывает деревья множеств уровней в R^3, насколько я понимаю.

каждой функции на n-кубе можно поставить в соотвествие дерево компонент связности множеств уровня (с метрикой хаусдорфа). функция через это дерево естественно пропускается (отображение из куба в дерево будем обозначать t).

есть лемма Колмогорова об универсальных деревьях:
для любой размерности n есть фиксированные деревья T_1, T_2, ... T_n+1 и функции t_1,...T_n+1 из I^n в T_i
такие что любая непрерывная функция f: I_n -> I
выражается как сумма f=g_1+...+g_n+1
где g_i это какая-то функция, у которой дерево компонент множеств уровня T_i а функции t равны t_i.
То есть есть набор n+1 универсальной функции из I^n в универсальные деревья T_i, такой что любая непрерывная функция получается как сумма функций на этих деревьях.

о деревьях компонент уровня действительных аналитических функций или хотя бы полиномов наука наверное знает. никакой структуры кроме метрики на деревьях, похоже нет, но можно было бы спросить есть ли T_i и t_i, такие что любая аналитическая функция раскладывается в сумму "аналитических функций" g_i на T_i

непонятно только что это может дать, потому что на практике нужно все в приближенном смысле, а в приближенном смысле это все почти тривиально верно (любая непостоянная активационная функция и два слоя нейронной сети могут апроксимировать любую функцию)

(Ответить) (Уровень выше)

	oort 2019-05-18 07:15 (ссылка)
	>непонятно только https://arxiv.org/abs/1707.00070 вот как-то применяют в магнитной томографии, впрочем функция которую они в итоге выбирают в качестве функции активации вообще не комплексно-аналитическая. (Ответить) (Уровень выше)

	sonin 2019-05-19 05:45 (ссылка)
	Очень интересно. Большое спасибо за ответ. > Константин Боюсь, вы меня перепутали с учёным-экономистом. Я вообще студент из физтеха. (Ответить) (Уровень выше) (Ветвь дискуссии)

	tiphareth 2019-05-19 06:10 (ссылка)
	пардон (Ответить) (Уровень выше)

(Читать комментарии) -