компилятор скорее всего сделает лучше
Компилятору помешает, если ассемблер через строку используют с переменными, которые компилятор чёрт знает в каких регистрах или памяти хранит, каким-то ещё алгоритмам оптимизации тоже создаст препоны.
А простую и понятную процедуру целиком на ассемблере написать должно быть эффективнее, то же мандельбротство.

векторные команды могут дать ускорение в разы на правильно подобранных задачах
Там ад с тем, как они передаются в ассемблерный код. Если пара команд, то копирования-выравнивания будут дольше происходить.
А вот кусочек кода в виде процедурки — другое дело.
Даже CRC32 и POPCNT, наверное, лучше процедуркой оформлять (которая с циклом или типа того), а не вызывать с бухты-барахты к каким-то переменным.