Вопрос к кому-нибудь, кто может быть в курсе.

Почему в искусственных нейросетях используются ограниченные активационные функции - вроде ступеньки или сигмоида? Зачем нужна нелинейность, я понимаю. Но почему бы не использовать неограниченную функцию, например sign(x)*ln(1+|x|) ?

Это позволило бы убрать кучу некрасивых ухищрений, на которые приходится идти, когда на входе или выходе из сети должно быть число или набор чисел, не ограниченных по величине.