"То есть, имеем вопрос в том, может ли ИИ выходить за рамки конечной, однажды заданной аксиоматики. По определению машины Тьюринга - нет. Но это же не значит, что это вовсе невозможно."
Да, Пенроуз этого совершенно не отрицает, с чем он спорит - так это с тем, что интеллект человека можно полностью смоделировать на компьютере сиречь машине Тьюринга. Нейронные сети моделируются машиной Тьюринга, конечно, а значит и они туда же. Обучаемость тоже моделируется МТ (во всяком случае, как ее обычно понимают).
Эволюция, мне кажется, несколько о другом - о том, как получить нечто работающее лучше из чего-то, работающего хуже. Но никакая эволюция не позволит живому организму нарушать законы физики. Вот примерно так же Пенроуз показывает, что никакой компьютер, самообучившийся или придуманный гениальным конструктором, не сможет решать определенный класс задач, решаемый человеком.