Вообще-то была подобная буква...
... до введения гражданской азбуки Петром Первым. Называлась она "он великой" и представляла собой "омегу" (старославянский алфавит был создан Кириллом и Мефодием на основе греческого). По каким правилам употреблялась - не знаю, честно говоря.

В надписях на могилах и пр. она и потом употреблялась, как и юс большой или юс малый (см. хотя бы надписи на Исаакиевском соборе в СЕВЕРНОЙ ПАЛЬМИРЕ)