Объяснение принципов работы печатной продукции!

Системы искусственного интеллекта достигли замечательных успехов в обработке текстовых и реляционных данных, однако обработка визуальных документов остается относительно малоизученной. В то время как традиционные системы требуют транскрипции OCR для преобразования этих визуальных документов в текст и метаданные, недавние достижения в многомодальных базовых моделях предлагают альтернативный путь: поиск и генерация непосредственно из изображений документов. Это поднимает актуальный и важный вопрос: как системы, основанные на изображениях, соотносятся с устоявшимися текстовыми методами? Чтобы ответить на этот вопрос, мы представляем IRPAPERS, эталонный набор данных, содержащий 3230 страниц из 166 научных статей, с изображением и транскрипцией OCR для каждой страницы. Мы представляем подборку из 180 вопросов типа «иголка в стоге сена» для оценки систем поиска и ответов на вопросы с использованием этого корпуса. Мы начинаем со сравнения поиска на основе изображений и текста с моделями с открытым исходным кодом, а также многомодального гибридного поиска. Для поиска изображений мы оцениваем модель многомодального векторного встраивания ColModernVBERT. Для поиска текста мы оцениваем плотные одновекторные встраивания Arctic 2.0, BM25 и их комбинацию в гибридном текстовом поиске. Методы, основанные на тексте, достигли показателей Recall@1 (46%), Recall@5 (78%) и Recall@20 (91%), в то время как поиск на основе изображений показал показатели Recall@1 (43%), Recall@5 (78%) и Recall@20 (93%). Эти системы поиска демонстрируют взаимодополняющие сбои, каждая из них успешно справляется с запросами, где другая терпит неудачу, что позволяет многомодальному слиянию превосходить любую из модальностей по отдельности. Гибридный многомодальный поиск показал наивысшую производительность с показателями Recall@1 (49%), Recall@5 (81%) и Recall@20 (95%). Мы также оцениваем компромисс между эффективностью и производительностью кодирования MUVERA с различными уровнями ef, а также производительность моделей многомодальных векторных встраиваний изображений ColPali и ColQwen2. Для оценки производительности моделей с открытым исходным кодом мы дополнительно протестировали ведущие модели с закрытым исходным кодом. Встраивание изображений страниц в Cohere Embed v4 достигло 58% Recall@1, 87% Recall@5 и 97% Recall@20, превзойдя встраивание транскрипций большого текста Voyage 3 с показателями 52% Recall@1, 86% Recall@5 и 95% Recall@20, а также все протестированные модели с открытым исходным кодом. Для ответов на вопросы мы оценили RAG, используя LLM-as-Judge для оценки бинарной семантической эквивалентности между эталонными данными и ответом от протестированной системы RAG. Системы RAG, использующие текстовые входные данные, достигли показателя выравнивания эталонных данных 0,82 по сравнению с 0,71 для входных данных изображений. Примечательно, что обе модальности существенно выигрывают от увеличения глубины поиска для ответов на вопросы. Поиск пяти документов превосходит даже поиск одного документа с помощью Oracle, что говорит о том, что связанные страницы предоставляют ценный контекст для синтеза ответов. В заключение мы рассматриваем сравнительные ограничения одномодальных представлений текста и изображений: существуют ли вопросы, для ответа на которые требуется графическое представление? И наоборот, существуют ли вопросы, для ответа на которые требуется текстовое представление? Эти результаты освещают текущее состояние технологий визуального поиска документов и ответов на вопросы. Ссылки: Мы опубликовали наш набор данных IRPAPERS в открытом доступе на HuggingFace по адресу: https://huggingface.co/datasets/weaviate/IRPAPERS и на GitHub по адресу https://github.com/weaviate/irpapers. Наш экспериментальный код также доступен на GitHub по адресу: https://github.com/weaviate/query-agent-benchmarking. Разделы 0:00 Введение 1:08 Набор данных IRPAPERS 2:52 Тест поиска с открытым исходным кодом 5:53 Мультимодальный гибридный поиск 8:10 Тест поиска с закрытым исходным кодом 8:54 Тест ответов на вопросы 13:08 Ограничения одномодальных представлений 17:27 Использовать OCR или нет? 21:00 Спасибо за просмотр!