Больше, меньше - это все равно категории сравнения. Даже если шапка слетает, когда смотришь на величие человека - это означает что произошло сравнение с собой в качестве мерила. (Пожалуй действительно "мой" использовать удобней чем "средний").