Ублюдок с картинками жрущими память
вынудил меня отключить своп, и изучить что делают /proc/sys/vm/overcommit_memory и /proc/sys/vm/overcommit_ratio

Без этих настроек можно было получить неотзывчивый комп теребящий жесткий диск, если вовремя не засечь что память съедается.

Других способов заставить линукс возвращать ошибку при заканчивающейся памяти, вместо виртуального пространства, остановить аллокацию до того момента, когда ядро уже начало выгружать все бинарики из памяти(что приводит к бесконечной работе hdd) -- я пока не нашел.