Ставить, но только четвертый - они кумулятивные.
После весьма желательно поставить с виндоус апдейта и все критические затычки. Но - после замены 5-го эксплорера на что-нибудь более другое.

У меня и так Опера.

Вот если б при установке оперы можно было эксплорер выкорчевать из винды...
А так - я вот веселился на днях, узнав, что делает чекбокс "mediaplayer" в установке 2000-й.
Он - внимание - убирает или добавляет из/в меню. Все. Т.е. даже эту срань из винды легально - не выкинуть. Поэтому - патчить все.

Чем выковырять, подскажите?

Ничем. Я ж говорю - она даже медиаплеер из себя исторгнуть не желает. А уж от эксплорера избавиться - они ж его после браузерной-то войны вживили куда только смогли.