Something has to be done about those regexes... they are unreadable, hard to debug, hard to change or extend. My guess is that it's better to use context-free grammars to define regexes, and let the compiler create a huge and unreadable regex without your participation. I haven't ever implemented this technique yet but I'm going to look into it soon.

Sorry, I did not explain myself properly, I was just thinking aloud. If you are interested we could chat about this. I don't think that it helps to comment a regex. There are too many details - all those (...*)*)*)*, lots of repeated code, no way to organize anything -all this makes working with regexes difficult once you have to maintain a really large and complicated regex. Most of the time regexes are short and this problem does not arise.

Is this going to be just lex/yacc? Which is often the opposite problem -- a lot of moving parts to solve a simple problem that can be solved by combining some regular expressions ;)

http://stackoverflow.com/a/1732454/68105

Все равно, я бы искал https?:// и все.

Whitespace?

whitespace или ( )
Keep it simple.

Ну и что? Разве это можно решить? Как ты отличишь URL c ")" в конце от URL в скобках?

Подожди, если он уже внутри href, то тебе надо парсить HTML, для этого есть терпимые библиотеки. Главное, что надо помнить -- это знаментый коан (или как там это назывется) от jwz: Some people, when confronted with a problem, think "I know, I'll use regular expressions." Now they have two problems.
Regular expressions вещь замечательная, в скрипте, или когда надо "что-то сделать". А вот в настоящей программе чаще всего они не лучший выбор.

Так а я не понял тогда как твой regexp отличит ) которая часть url, от ), которая часть текста. Ты сказал про bracket matching, но я не очень понял, что ты имеешь в ввиду.
Проблема с regexp, что если в этом ужасе на 4 строчки что-то не так, я поленюсь отлаживать и заменю на алогитм, записанный вручную. Я за всю свою жизнь один раз поддался соблазну и использовал нетривиальный regepx и через 3 месяца об этом пожалел.

Ну, во-первых я не наезжаю, я высказываю свои соображения. Если это выглядит, как высказывание истины в последней инстанции, прошу прощения, и прошу учесть, что я (практически) никогда и ничего в таком формате сознательно не говорю, а если выходит так, то толко для красного словца.
Во-вторых я-то как раз regexp'ы люблю и все время ими пользуюсь.

Далее: RegEx -- это не запись алогритма, а запись определния regular language. Т.е. это такой интересный случай, когда ты что-то описываешь в такой виде, в котором компьютер может легко твою записть преобразовать в алгоритм, это что-то распознающий. Я говорю, что с точки зрнения читаемости этот формат не подходит для нетривиальных случаев.

Что касается конкретной проблемы со скобочками, меня беспокоят два аспекта:
1) это решение поддерживает только 2 уровня вложенных скобок (и, насколько я помню, решения в общем виде для любого уровня вложенности в regular languages доказуемо нет)
2) Не ясно, откуда взялись вложенные скобки?
(Вот как ты такое пропарсишь https://www.google.com/?q=:()

Как тебе такая идея -- искать до пробела, а потом если в конце есть непонятные символы типа пунктуации, то пробовать их по одному отбрасывать и посылать запрос, пока получишь 200.
У меня такое эстетическое соображение: если уж писать сложное, то с целью покрыть 99% случаев. А писать сложное для 90 или даже 95% обидно.

Со скобками, что ты два уровня предусмотрѣлъ - это остроумно. Но я только сейчасъ понялъ, изъ твоихъ послѣднихъ комментарiевъ, въ чёмъ собственно заключалась задача.

Вотъ meshko тоже говоритъ, что пожалѣлъ, когда использовалъ большой regex. Это оно самое. Есть нерѣшённая проблема, - regex трудно поддерживать и развивать. Сейчасъ твой скриптъ рѣшилъ задачу, и если его никогда не придётся передѣлывать, то всё замѣчательно и прекрасно. Но если черезъ годъ окажется, что какой-то странный URL не распознаётся, ты проведёшь полдня въ отладкѣ.

Въ чёмъ трудности работы съ регексами:

- у тебя въ головѣ есть идея о томъ, какъ и когда надо распознавать текстъ, но regex не отражаетъ эту идею - онъ является нагроможденiемъ скобокъ и звѣздочекъ. Когда твоя идея улетучится изъ головы, будетъ трудно что-то сдѣлать. Рѣшенiе - писать длинные комментарiи къ каждому кусочку регекса.

- когда регексъ долженъ что-то распознавать такое, что всё время повторяется то тутъ, то тамъ, ты вынужден повторять вѣсь кусочекъ кода регекса. Эти повторенiя нельзя "факторизовать", т.е. нельзя положить кусокъ регекса въ "регексную подпрограмму" и "вызывать" её много разъ изъ разныхъ мѣстъ. Поэтому регексы всегда длинные и нечитаемые. Это, я думаю, рѣшается лишь переходомъ къ context-free grammar, гдѣ и регексы, и болѣе мощные конструкцiи распознаются символически, и можно дѣлать "подпрограммы изъ регексовъ". Объ этомъ я и писалъ въ началѣ.

- Малѣйшая ошибка, пропущенная или лишняя звѣздочка - и ничего не работаетъ, и непонятно почему - отлаживать "по шагамъ" регексы нельзя. Рѣшенiе - написать очень много тестовъ, по два-три на каждый граничный случай, предусмотрѣнный твоимъ регексомъ, и прогонять всѣ тесты каждый разъ, когда ты что-то измѣняешь въ нёмъ.