1. Да, тормозит и да, есть вариант хранить отрезки по-другому.
В структуре с полями
Стартовое_значение - long
Конечное_значение - long
Не_закрыто - bool
Если число одно - это отрезок с это число по это же. Если отрезок с-по, то так и хранить, если отрезок с одного конца пуст - ставить 0 и хранить булево значение в поле рядом.
Такой способ хранения информации решает автоматом 2 и оптимизирует 3. (придется правда добавить кода в поиск min/max и еще кое-где). Но проблема с повторами возникает и с ToArray()