Регулярные выражения Python 3 – подробный разбор модуля re

Регулярные выражения Python 3 описывают шаблон для поиска, проверки и замены текста. Модуль re Python содержит основные функции: функция Python re.search ищет совпадение, функция Python re.match проверяет начало строки, функция Python re.sub меняет найденные фрагменты, а re findall Python 3 возвращает все совпадения. Выберите границу поиска, соберите шаблон и проверьте результат объектом Match.

Что умеет модуль re Python

Импортируйте модуль, задайте шаблон и передайте ему исходный текст. Повторяющийся шаблон удобно сохранить через re.compile(), чтобы обращаться к готовому объекту Pattern.

ФункцияЧто возвращает
search()Первый объект Match в любой позиции или None.
match()Объект Match, если совпадение начинается с позиции 0, иначе None.
fullmatch()Объект Match, если шаблон совпал со всей строкой, иначе None.
findall()Список строк или кортежей захваченных групп.
finditer()Итератор объектов Match.
sub()Новую строку с замененными совпадениями.
subn()Кортеж из новой строки и числа замен.
split()Список частей, разделенных шаблоном.
compile()Скомпилированный объект re.Pattern.
escape()Строку с экранированными специальными символами.
import re

text = 'Does this text match the pattern?'
for pattern in ('this', 'that'):
    match = re.search(pattern, text)
    print(f'{pattern!r}: {match is not None}')

Как искать совпадения через search(), match() и fullmatch()

Выбирайте функцию по границе поиска. search() ищет в любом месте, match() начинает с позиции 0, а fullmatch() требует совпадения всей строки.

import re

text = 'Python 3'
pattern = r'[A-Za-z]+ [0-9]+'

print(re.search(pattern, text))
print(re.match(r'Python', text))
print(re.fullmatch(pattern, text))

Для строки Python 3 первый вызов находит совпадение, второй проверяет начало, а третий охватывает весь текст. Лишний символ в начале или конце нарушит результат fullmatch().

Объект Match хранит исходную строку и границы совпадения.

Методы start() и end() возвращают индексы, а group() – найденный фрагмент.

match = re.search(r'is', 'This is text')
if match:
    print(match.group(0))
    print(match.start(), match.end())

Метасимволы и повторы в шаблонах

Обычный символ совпадает сам с собой. Метасимвол задает границу, набор, альтернативу или повтор.

СинтаксисЗначение
.Любой символ, кроме новой строки; с re.DOTALL – любой символ.
^Начало текста; с re.MULTILINE – также начало каждой строки.
$Конец текста или позиция перед завершающим переводом строки; с re.MULTILINE – также перед каждым переводом строки.
*Ноль или больше повторений.
+Одно или больше повторений.
?Ноль или одно повторение.
{m,n}От m до n повторений.
[abc]Один символ из набора.
[^abc]Один символ вне набора.
a|bВариант a или b.
(...)Захватывающая группа.
(?:...)Незахватывающая группа.

Жадный квантификатор берет максимально длинный фрагмент. Добавьте ?, чтобы получить минимальное совпадение.

import re

text = '<b>one</b> and <b>two</b>'
print(re.findall(r'<b>.*</b>', text))
print(re.findall(r'<b>.*?</b>', text))

В Python 3.11 появились атомарные группы (?>...) и посессивные квантификаторы *+, ++, ?+ и {m,n}+. Они запрещают движку возвращаться к уже обработанному фрагменту.

import re

print(re.fullmatch(r'a++a', 'aaa'))
print(re.fullmatch(r'a+a', 'aaa'))

Escape-коды и границы слов

Escape-коды сокращают часто используемые наборы. Пишите их в raw-строках с префиксом r, чтобы Python не обработал обратный слеш раньше модуля re.

КодЗначение
\dЦифра.
\DСимвол вне набора цифр.
\sПробельный символ.
\SСимвол, который не относится к пробельным.
\wБуква, цифра или символ подчеркивания.
\WСимвол вне набора \w.
\bГраница слова.
\BПозиция не на границе слова.
\AНачало текста.
\ZКонец текста.
import re

text = 'Room 24, floor 3'
print(re.findall(r'\d+', text))
print(re.findall(r'\b\w+\b', text))

Чтобы найти специальный символ буквально, экранируйте его. Шаблон \d\+ ищет цифру и знак плюса.

Как найти все совпадения через re.findall() и re.finditer()

Берите findall(), когда нужны значения. finditer() удобнее для позиций, групп и других свойств объекта Match.

import re

text = 'abbaaabbbbaaaaa'
for match in re.finditer(r'ab', text):
    print(f'{match.group(0)!r}: {match.start()}–{match.end()}')

У шаблона с одной группой findall() возвращает список строк. Две и более группы превращают результат в список кортежей.

import re

text = 'Ivan: 25, Olga: 31'
print(re.findall(r'(\w+): (\d+)', text))

Группы и извлечение частей совпадения

Скобки выделяют часть шаблона. Группа 0 обозначает все совпадение, а нумерация подгрупп начинается с 1.

import re

match = re.search(r'(\w+)@(\w+\.\w+)', 'user@example.com')
if match:
    print(match.group(0))
    print(match.group(1))
    print(match.group(2))
    print(match[1])

Индексирование объекта Match по номеру группы доступно в Python 3.6 и новее.

Именованную группу задает синтаксис (?P<name>pattern), а groupdict() возвращает словарь имен.

import re

pattern = re.compile(r'(?P<user>\w+)@(?P<domain>[\w.]+)')
match = pattern.search('user@example.com')
print(match.groupdict())
print(match.group('user'))

Незахватывающая группа (?:pattern) объединяет части шаблона без изменения номеров групп.

Флаги регулярных выражений

Флаги меняют правила поиска. Передавайте их через flags= или объединяйте оператором |. У re.compile() флаги идут вторым позиционным аргументом.

ФлагСокращениеНазначение
IGNORECASEIИгнорирует регистр.
MULTILINEMПрименяет ^ и $ к каждой строке.
DOTALLSПозволяет точке совпадать с новой строкой.
ASCIIAОграничивает \w, \d, \s и \b ASCII-правилами.
VERBOSEXРазрешает пробелы и комментарии в шаблоне.
UNICODEUДля строк str в Python 3 избыточен.
import re

text = 'This is text\nAnd another line'
pattern = re.compile(r'^\w+', flags=re.IGNORECASE | re.MULTILINE)
print(pattern.findall(text))

Глобальные встроенные флаги ставьте в начало шаблона: (?im)^\w+. С Python 3.11 такие флаги допустимы только в начале выражения. Встроенные флаги a и u нельзя объединять в одной группе.

Unicode в Python 3

Строки типа str в Python 3 используют Unicode по умолчанию. Поэтому \w в обычном режиме сопоставляет буквы разных алфавитов, а re.UNICODE отдельно включать не нужно.

import re

text = 'Français złoty Österreich'
print(re.findall(r'\w+', text))
print(re.findall(r'\w+', text, flags=re.ASCII))

Флаг re.ASCII ограничивает сокращенные классы символов и границы слов ASCII-правилами. Он меняет поведение \w, \W, \b, \B, \d, \D, \s и \S.

Группы поиска вперед и назад

Lookahead и lookbehind проверяют соседний текст, но сами символы в совпадение не добавляют. Положительный поиск вперед записывают как (?=pattern), отрицательный – как (?!pattern).

import re

text = 'price: 25 USD'
print(re.findall(r'\d+(?= USD)', text))
print(re.findall(r'\d+(?!\d| USD)', '25 EUR 30 USD'))

Первый шаблон берет число перед строкой USD.

Во втором выражении отрицательный lookahead отбрасывает 30, потому что после числа стоит USD; граница \b в этом шаблоне не участвует.

Положительный поиск назад записывают как (?<=pattern), отрицательный – как (?<!pattern). Шаблон lookbehind в Python должен иметь фиксированную длину.

import re

text = '@alice @username'
pattern = re.compile(r'(?<=@)\w+')
print(pattern.findall(text))

Этот нейтральный пример находит имена после символа @. Оба lookbehind-варианта проверяют текст слева и не включают проверяемые символы в результат.

Ссылки на группы внутри шаблона

Обратная ссылка повторяет текст, который уже совпал с группой. Номер группы записывают как \1, именованную группу – как (?P=name).

import re

pattern = re.compile(r'\b(?P<word>\w+)\s+(?P=word)\b', re.IGNORECASE)
match = pattern.search('This is is a test')
if match:
    print(match.group(0))

Именованные ссылки переживают перестановку групп лучше числовых ссылок. В строках замены используйте форму \g<name> или \g<1>.

Как заменить текст через re.sub() и re.subn()

Метод sub() заменяет совпадения, а параметр count ограничивает их число. Передайте строку с обратной ссылкой, когда новая строка должна сохранить найденную группу.

import re

text = 'Make **bold** and **important**'
result = re.sub(r'\*\*(.*?)\*\*', r'<strong>\g<1></strong>', text)
print(result)

Передайте функцию вместо строки, если результат зависит от найденного текста. Функция получает объект Match и возвращает строку.

import re

def double_number(match):
    return str(int(match.group(0)) * 2)

text = '2 apples and 3 oranges'
print(re.sub(r'\d+', double_number, text))
result, count = re.subn(r'\s+', ' ', 'one   two\nthree')
print(result, count)

Как безопасно добавлять пользовательский текст

Точка, скобки и знак плюса меняют правила шаблона. Используйте re.escape(), когда пользовательский фрагмент должен совпадать буквально.

import re

user_text = 'file.name+1'
pattern = re.compile(re.escape(user_text))
print(bool(pattern.fullmatch('file.name+1')))

Функция добавляет обратные слеши перед специальными символами. Поэтому пользовательская строка остается обычным текстом внутри регулярного выражения.

Как разбить строку через re.split()

Метод re.split() принимает сложный разделитель. Он объединяет пробелы, запятые или несколько переводов строки в одно правило. Для простого разделителя подойдет обычный метод split() для строк Python.

import re

text = 'one, two; three   four'
parts = re.split(r'[,;\s]+', text)
print(parts)

Если заключить разделитель в захватывающую группу, он попадет в результат вместе с частями строки.

import re

text = 'Paragraph one\n\nParagraph two\n\nParagraph three'
parts = re.split(r'(\n{2,})', text)
for part in parts:
    print(repr(part))

Многословные регулярные выражения

Флаг re.VERBOSE разрешает переносы, пробелы и комментарии внутри шаблона. Email-шаблон ограничен доменами com, org и edu; это учебный пример, а не валидатор для продакшена.

import re

address = re.compile(r'''
    [\w.+-]+       # имя пользователя
    @
    ([\w.]+\.)+   # домен
    (com|org|edu)   # учебный набор доменов
''', re.VERBOSE)

print(bool(address.search('first.last@example.com')))

Комментарии делают длинный шаблон читаемым.

Для настоящей проверки адресов учитывайте правила вашего приложения.

Как выбрать функцию re для задачи

Сначала определите границу результата, затем выберите функцию. Так вы не примете частичное совпадение за корректное значение.

ЗадачаФункцияПроверка результата
Найти первое совпадениеsearch()Проверьте объект на None.
Проверить начало строкиmatch()Прочитайте group(), если совпадение найдено.
Проверить всю строкуfullmatch()Совпадение охватывает весь текст.
Извлечь все значенияfindall()Обработайте список строк или кортежей.
Получить позиции и группыfinditer()Читайте start(), end() и group().
Заменить совпаденияsub() или subn()Сравните строку и число замен.
Разделить текстsplit()Проверьте список частей.

Скомпилируйте шаблон через re.compile(), если программа использует его в нескольких местах. Модуль кэширует часть шаблонов для функций верхнего уровня, а явная компиляция создает объект Pattern заранее и показывает флаги рядом с шаблоном.

import re

number = re.compile(r'\d+')
for text in ('Room 12', 'Floor 3'):
    print(number.findall(text))

Полный список синтаксиса и флагов смотрите в официальной документации модуля re для Python 3. Общее объяснение алгоритма поиска есть в Regular Expression HOWTO.

Совет от нашей редакции: сначала точно опишите формат строки, затем добавляйте группы, lookaround и атомарные конструкции.

Комментарии

Оставьте свой комментарий
В
Владимир

Спасибо! Очень полезная статья!