Да нет, укры бесятся с того, что "на Украине" звучит как "на окраине" (что собственно недалеко от истины), тогда как им бы хотелось себя считать не окраиной России, а прогрессивным европейскимм государством.

не согласен, что "на" означает принадлежность (ср. "на Кубе", "на Ямайке")

Я это и говорю. Но на окраине можно быть чего-то, а это что-то и есть Россия, по крайней мере, если говорящий это "на" - русский. Если бы говорил поляк, то могло бы восприниматься в значении "на окраине Польши".