Дана Минор
Лаборатория языковой конвергенции НИУ ВШЭ Санкт-Петербурга и Центр технологий для общества Yandex Cloud разработали чат-бота, который помогает посетителям музеев ориентироваться в экспозиции и находить произведения искусства даже по самому приблизительному описанию. Достаточно ввести запрос в свободной форме — например, «женщина смотрит в небо с рукой у груди», — и ИИ-помощник выдаст подходящие варианты с указанием зала, где находится работа.
В основе функции лежит технология векторного поиска Managed Service for OpenSearch платформы Yandex Cloud. Бот обращается к специальной базе данных, в наполнении которой участвовали волонтеры и технологии искусственного интеллекта. Они создавали аннотации к сотням произведений из Цифровой коллекции Эрмитажа. Авторы датасета — руководитель проектной группы, заведующий Лабораторией языковой конвергенции Анастасия Колмогорова и Полина Налобина — получили свидетельство интеллектуальной собственности на собранный массив данных. Теперь его используют и другие исследователи.
Разработчики сервиса, специалисты лаборатории и выпускники магистерской программы «Языковые технологии в бизнесе и образовании» пошли дальше и добавили боту персонажа. Им стал кот по кличке Эрсик.
— Теперь его персонаж и хранитель коллекции Эрсик, помимо нахождения произведений живописи, умеет отвечать на вопросы о посещении музея, — рассказывают лингвисты-разработчики Влада Погожельская и Мария Сергеева.
Чтобы ответы звучали естественно и соответствовали образу, компьютерные лингвисты протестировали модели на базе Yandex AI Studio и методы их дообучения. Кот Эрсик научился общаться в стиле сотрудника музея, мурлыкать и давать точные ответы.
— Мы собрали базу данных из официальной документации, исторической справки, отзывов на маршруты и текстов обращений пользователей в контакт-центр музея. Затем подключили к модели цифрового ассистента, подгрузили датасет и настроили поиск при помощи дополненной генерации. Это значит, что чат-бот научился формулировать ответы на основе конкретной выборки проверенной информации, а не из всей доступной в сети, — объясняет участница проектной группы Елизавета Сытикова.
Теперь взаимодействие с музеем становится удобнее и на этапе подготовки к визиту, и прямо во время прогулки по залам.
— Апробированные в проекте технологические решения могут широко применяться в музеях Санкт-Петербурга и других городов. С их помощью можно сделать выставочное пространство цифровым и креативным. Каждый посетитель получает возможность сформировать персональную связь с произведениями искусства, соединив их с личной памятью и опытом, — подчеркивает руководитель проектной группы Анастасия Колмогорова.
Чат-бот создан специалистами НИУ ВШЭ из Санкт-Петербурга и реализован при грантовой и экспертной поддержке Центра технологий для общества Yandex Cloud.
Фото на обложке: unsplash
