Меню
Главная
Случайная статья
Настройки
|
Регулярные выражения (англ. regular expressions) — формальный язык, используемый в компьютерных программах, работающих с текстом, для поиска и осуществления манипуляций с подстроками в тексте, основанный на использовании метасимволов (символов-джокеров). Для поиска используется строка-образец (англ. pattern, по-русски её часто называют «шаблоном», «маской»), состоящая из символов и метасимволов и задающая правило поиска. Для манипуляций с текстом дополнительно задаётся строка замены, которая также может содержать в себе специальные символы.
Содержание
Возможности
Регулярные выражения используются некоторыми текстовыми редакторами и утилитами для поиска и подстановки текста. Например, при помощи регулярных выражений можно задать шаблоны, позволяющие:
- найти все последовательности символов «кот» в любом контексте, как то: «кот», «котлета», «терракотовый»;
- найти отдельно стоящее слово «кот» и заменить его на «кошка»;
- найти слово «кот», которому предшествует слово «персидский» или «чеширский»;
- убрать из текста все предложения, в которых упоминается слово «кот» или «кошка».
Регулярные выражения позволяют задавать и гораздо более сложные шаблоны поиска или замены.
Результатом работы с регулярным выражением может быть:
- проверка наличия искомого образца в заданном тексте;
- определение подстроки текста, которая сопоставляется образцу;
- определение групп символов, соответствующих отдельным частям образца.
Если регулярное выражение используется для замены текста, то результатом работы будет новая текстовая строка, представляющая собой исходный текст, из которого удалены найденные подстроки (сопоставленные образцу), а вместо них подставлены строки замены (возможно, модифицированные запомненными при разборе группами символов из исходного текста). Частным случаем модификации текста является удаление всех вхождений найденного образца — для чего строка замены указывается пустой.
Набор утилит (включая редактор sed и фильтр grep), поставляемых в дистрибутивах UNIX, одним из первых способствовал популяризации регулярных выражений для обработки текстов. Многие современные языки программирования имеют встроенную поддержку регулярных выражений. Среди них Perl, Java[1],PHP, JavaScript, языки платформы .NET Framework[2], Python, Tcl, Ruby, Lua, Gambas, C++ (стандарт 2011 года), Delphi, D, Haxe и другие.
История
Истоки регулярных выражений лежат в теории автоматов, теории формальных языков и классификации формальных грамматик по Хомскому[3].
Эти области изучают вычислительные модели (автоматы) и способы описания и классификации формальных языков.
В 1940-х гг. Уоррен Маккалок и Уолтер Питтс описали нейронную систему, используя простой автомат в качестве модели нейрона.
Математик Стивен Клини позже описал эти модели, используя свою систему математических обозначений, названную «регулярные множества».
Кен Томпсон встроил их в редактор QED, а затем — в редактор ed под UNIX.
С этого времени регулярные выражения стали широко использоваться в UNIX и UNIX-подобных утилитах, например в expr, awk, Emacs, vi, lex и Perl.
Регулярные выражения в Perl и Tcl происходят от реализации, написанной Генри Спенсером.
Филип Хейзел разработал библиотеку PCRE (англ. Perl-compatible regular expressions — Perl-совместимые регулярные выражения), которая используется во многих современных инструментах, таких как PHP и Apache[источник не указан 2298 дней].
В теории формальных языков
Регулярные выражения состоят из констант и операторов, которые определяют множества строк и множества операций на них соответственно.
Определены следующие константы:
и следующие операции:
- (сцепление, конкатенация) RS обозначает множество { | R & S}, например: {"boy", "girl"}{"friend", "cott"} = {"boyfriend", "girlfriend", "boycott", "girlcott"};
- (дизъюнкция, чередование) R|S обозначает объединение R и S, например: {"ab", "c"}|{"ab", "d", "ef"} = {"ab", "c", "d", "ef"}[4];
- (замыкание Клини, звезда Клини) R* обозначает минимальное надмножество множества R, которое содержит и замкнуто относительно конкатенации (это есть множество всех строк, полученных конкатенацией нуля или более строк из R, например: {«Run», «Forrest»}* = {, «Run», «Forrest», «RunRun», «RunForrest», «ForrestRun», «ForrestForrest», «RunRunRun», «RunRunForrest», «RunForrestRun», …})
Регулярные выражения, входящие в современные языки программирования (в частности, PCRE), имеют больше возможностей, чем то, что называется регулярными выражениями в теории формальных языков; в частности, в них есть нумерованные обратные ссылки. Это позволяет им разбирать строки, описываемые не только регулярными грамматиками, но и более сложными, в частности, контекстно-свободными грамматиками[5][6].
Синтаксис
Представление символов
Большинство символов в регулярном выражении представляют сами себя за исключением специальных символов
[
]
\
/
^
$
.
|
?
*
+
(
)
{
}
(в разных типах регулярных выражений этот набор различается, см. Разновидности регулярных выражений),
которые могут быть экранированы символом \ (обратная косая черта) для представления самих себя в качестве символов текста.
Можно экранировать целую последовательность символов, заключив её между \Q и \E.
| Пример
|
Соответствие
|
a\.?
|
a. или a
|
a\\\\b
|
a\\b
|
a\[F\]
|
a[F]
|
\Q+-*/\E
|
+-*/
|
Аналогично могут быть представлены другие специальные символы (наборы символов, требующих экранирования, могут различаться в зависимости от конкретной реализации).
Часть символов, которые в той или иной реализации не требуют экранирования (например, угловые скобки < >), может быть экранирована из соображений удобочитаемости.
Метасимвол . (точка) означает один любой символ, но в некоторых реализациях — исключая символ новой строки.
Вместо символа . можно использовать [\s\S] (все пробельные и непробельные символы, включая символ новой строки).
Набор символов в квадратных скобках [ ] именуется символьным классом и позволяет указать интерпретатору регулярных выражений, что на данном месте в строке может стоять один из перечисленных символов.
В частности, [абв] задаёт возможность появления в тексте одного из трёх указанных символов, а [1234567890] задаёт соответствие одной из цифр.
Возможно указание диапазонов символов: например, [А-Яа-я] соответствует всем буквам русского алфавита, за исключением букв «Ё» и «ё»[7]. Некоторые реализации регулярных выражений могут позволять включать в символьные классы не только символы, но и целые строки.[8]
Если требуется указать символы, которые не входят в указанный набор, то используют символ ^ внутри квадратных скобок, например [^0-9] означает любой символ, кроме цифр.
Добавление в набор специальных символов путём экранирования — самый бесхитростный способ. Однако в современных регулярных выражениях унаследован также и традиционный подход — см. Традиционные регулярные выражения.
Некоторые символьные классы можно заменить специальными метасимволами:
| Символ
|
Возможный эквивалент[9]
|
Соответствие
|
\d
|
[0-9]
|
Цифровой символ
|
\D
|
[^0-9]
|
Нецифровой символ
|
\s
|
[ \f\n\r\t\v]
|
Пробельный символ
|
\S
|
[^ \f\n\r\t\v]
|
Непробельный символ
Пример: Выражение вида ^\S.* или ^[^ \f\n\r\t\v].* будет находить строки, начинающиеся с непробельного символа
|
\w[10]
|
[A-Za-z0-9_]
|
Буквенный или цифровой символ или знак подчёркивания; буквы ограничены латиницей
Пример: Выражение вида \w+ будет находить и выделять отдельные слова
|
\W[11]
|
[^A-Za-z0-9_]
|
Любой символ, кроме буквенного или цифрового символа или знака подчёркивания
|
Позиция внутри строки
Следующие символы позволяют спозиционировать регулярное выражение относительно элементов текста: начала и конца строки, границ слова.
| Представление
|
Позиция
|
Пример
|
Соответствие
|
^
|
Начало текста (или строки при модификаторе ?m)
|
^a
|
aaa aaa
|
$
|
Конец текста (или строки при модификаторе ?m)
|
a$
|
aaa aaa
|
\b
|
Граница слова
|
a\b
|
aaa aaa
|
\ba
|
aaa aaa
|
\B
|
Не граница слова
|
\Ba\B
|
aaa aaa
|
\G
|
Предыдущий успешный поиск
|
\Ga
|
aaa aaa (поиск остановился на 4-й позиции — там, где не нашлось a)
|
Специальные символы
\n — перевод строки
\r — возврат каретки
Обозначение группы
Круглые скобки используются для определения области действия и приоритета операций.
Шаблон внутри группы обрабатывается как единое целое и может быть квантифицирован.
Например, выражение (тр[ау]м-?)* найдёт последовательность вида трам-трам-трумтрам-трум-трамтрум.
Перечисление
Вертикальная черта разделяет допустимые варианты.
Например, gray|grey соответствует gray или grey.
Следует помнить, что перебор вариантов выполняется слева направо, как они указаны.
Если требуется указать перечень вариантов внутри более сложного регулярного выражения, то его нужно заключить в группу.
Например, gray|grey или gr(a|e)y описывают строку gray или grey.
В случае с односимвольными альтернативами предпочтителен вариант gr[ae]y, так как сравнение с символьным классом выполняется проще, чем обработка группы с проверкой на все её возможные модификаторы и генерацией обратной связи.
Квантификация (поиск последовательностей)
Квантификатор после символа, символьного класса или группы определяет, сколько раз предшествующее выражение может встречаться.
Следует учитывать, что квантификатор может относиться более чем к одному символу в регулярном выражении, только если это символьный класс или группа.
| Представление
|
Число повторений
|
Эквивалент
|
Пример
|
Соответствие
|
?
|
Ноль или одно
|
{0,1}
|
colou?r
|
color, colour
|
*
|
Ноль или более
|
{0,}
|
colou*r
|
color, colour, colouur и т. д.
|
+
|
Одно или более
|
{1,}
|
colou+r
|
colour, colouur и т. д. (но не color)
|
| Представление
|
Число повторений
|
Пример
|
Соответствие
|
{n}
|
Ровно n раз
|
colou{3}r
|
colouuur
|
{m,n}
|
От m до n включительно
|
colou{2,4}r
|
colouur, colouuur, colouuuur
|
{m,}
|
Не менее m
|
colou{2,}r
|
colouur, colouuur, colouuuur и т. д.
|
{,n}
|
Не более n
|
colou{,3}r
|
color, colour, colouur, colouuur
|
Часто используется последовательность .* для обозначения любого количества любых символов между двумя частями регулярного выражения.
Символьные классы в сочетании с квантификаторами позволяют устанавливать соответствия с реальными текстами.
Например, столбцами цифр, телефонами, почтовыми адресами, элементами HTML-разметки и др.
Если символы
{
}
не образуют квантификатора, их специальное значение игнорируется.
Выражение (<.*>) соответствует строке, содержащей несколько тегов HTML-разметки, целиком.
<p><b>Википедия</b> — свободная энциклопедия, в которой <i>каждый</i> может изменить или дополнить любую статью.</p>
Чтобы выделить отдельные теги, можно применить ленивую версию этого выражения:
(<.*?>)
Ей соответствует не вся показанная выше строка, а отдельные теги (выделены цветом):
<p><b>Википедия</b> — свободная энциклопедия, в которой <i>каждый</i> может изменить или дополнить любую статью.</p>
В некоторых реализациях квантификаторам в регулярных выражениях соответствует максимально длинная строка из возможных (квантификаторы являются жадными, англ. greedy).
Это может оказаться значительной проблемой.
Например, часто ожидают, что выражение (<.*>) найдёт в тексте теги HTML.
Однако если в тексте есть более одного HTML-тега, то этому выражению соответствует целиком строка, содержащая множество тегов.
<p><b>Википедия</b> — свободная энциклопедия, в которой <i>каждый</i> может изменить или дополнить любую статью.</p>
Эту проблему можно решить двумя способами.
- Учитывать символы, не соответствующие желаемому образцу (
<[^>]*> для вышеописанного случая).
- Определить квантификатор как нежадный (ленивый, англ. lazy) — большинство реализаций позволяют это сделать, добавив после него знак вопроса.
Использование ленивых квантификаторов может повлечь за собой обратную проблему, когда выражению соответствует слишком короткая, в частности, пустая строка.
| Жадный
|
Ленивый
|
*
|
*?
|
+
|
+?
|
{n,}
|
{n,}?
|
Также общей проблемой как жадных, так и ленивых выражений являются точки возврата для перебора вариантов выражения.
Точки ставятся после каждой итерации квантификатора.
Если интерпретатор не нашёл соответствия после квантификатора, то он начинает возвращаться по всем установленным точкам, пересчитывая оттуда выражение по-другому.
|
|