Анастасия Жукова
АССИСТЕНТ ПО ПРОВЕРКЕ ФАКТОВ: ЧТО ЭТО?
Ассистент по проверке фактов, разработанный в Центре ИИ НИУ ВШЭ позволит не только повысить качество работы с информацией, но и сократит время, потраченное на верификацию.
Принцип работы программы достаточно прост. Она ищет текстовые фрагменты, подходящие под утверждение пользователя, затем сравнивает их с этим утверждением и принимает решение о его верности, подтверждая его найденной ранее информацией.
Применение этой разработки пока достаточно ограничено и сводится к проверке фактов общего характера, например, биографических или исторических данных, зафиксированных в Википедии. Сейчас это единственный источник, который использует программа для проверки фактов, но потенциально возможно обучить модель работать и с другими базами данных. Но в данный момент, по словам ученых, именно Википедия принимается за «золотой стандарт», поэтому, программа посчитает правдивой любую информацию, представленную в энциклопедии.
На данный момент ученые обучили ассистента автоматически проверять факты на основе данных не только на русском и английском, но и на болгарском языке. Программу можно использовать для любых утверждений длинною более пяти слов.
СМОЖЕТ ЛИ ЭТА ПРОГРАММА ЗАМЕНИТЬ ЧЕЛОВЕКА?
Несмотря на то, что программа значительно упростит процесс работы с информацией, полностью заменить реального человека она не сможет. По словам эксперта, сделать проверку фактов полностью автоматической пока едва ли возможно.
Для оценки эффективности модели используются несколько традиционных метрик из машинного обучения – точность, полнота, F-мера. Программу также проверяют с помощью ручного тестирования на заранее подготовленных примерах.
Что касается планов по дальнейшему развитию, разработчики работают над повышение точности модели.
