Нейросеть для создания новостных заголовков от ВКонтакте

Команда прикладных исследований ВКонтакте создала нейросеть, которая позволяет формировать новостные заголовки на русском и английском языках. Эту информацию официально подтвердила пресс-служба компании.

Презентация нейросети, созданной специалистами ВКонтакте, состоялась в рамках Европейской конференции по информационному поиску (European Conference On Information Retrieval 2019), проходившей в Кёльне.

Представленная нейросеть будет генерировать заголовки на основе текста новости. Используемая в ней модель будет обрабатывать текст новости, и генерировать ее заголовок из фрагментов слов. Именно так нейросеть от ВКонтакте сможет добиваться получения правильных падежей и склонений, и в конечном итоге будет формировать действительно связное предложение.

При разработке новой нейросети ее создатели использовали архитектуру Universal Transformer, а также технологию компрессии данных BPE (Byte Pair Encoding). Чаще всего эти технологии применяются в машинном переводе и позволяют ограничиться небольшим словарём для генерации заголовков.

Что касается обучения нейросети, то с этой целью использовались текстовые материалы информационного агентства «РИА Новости», а также международного издания The New York Times.

Примечательно, что именно специалисты ВКонтакте стали первыми, кто использовал технологию BPE в рамках модели суммаризации текста, а также первыми, кто стал обучать подобную модель нейросети на русскоязычных новостных материалах.

Для того чтобы достоверно проверить качество работы созданной модели нейросети, ее разработчики провели отдельное исследование, в рамках которого демонстрировали добровольцам новость и два заголовка, сгенерированных специально для нее.

По мнению опрошенных добровольцев, в 45% случаев машинный заголовок был ничем не хуже оригинального, а в 15% — даже лучше.

По словам разработчика-исследователя ВКонтакте Даниил Гаврилов нынешняя разработка позволяет быстро выделять главную мысль из достаточно длинных текстов — это действительно полезно, так как информации вокруг нас уже очень много и ее будет становиться только больше.

Если говорить о применении новой технологии, то ее можно будет использовать для решения самых разнообразных задач, связанных с удобством потребления контента. Например, социальная сеть ВКонтакте в перспективе сможет использовать ее для умного сокращения постов, демонстрируемых в пользовательских лентах или же для создания новостных дайджестов.

Более подробно узнать о том, как создавалась эта модель нейросети, можно из специально подготовленной статьи (доступна на английском языке).

В заключение стоит напомнить о том, что команда прикладных исследований ВКонтакте была создана в 2018 году. Ее специалисты сосредоточены на исследованиях и разработке методов машинного обучения и искусственного интеллекта, а также решении достаточно широкого спектра актуальных задач: от классификации видео до машинного перевода.

Меню