ScanSystemsДокументы
Интеллектуальная обработка документов: от бумаги к структурированным данным
Интеллектуальная обработка документов: как работают сканирование, чтение и извлечение данных, что влияет на точность и как организовать архив. Читайте.
От бумаги к данным
Обработка документов проходит четыре этапа. Захват превращает бумагу в изображение — сканированием, фотографированием или загрузкой файла. Распознавание превращает изображение в текст. Извлечение находит нужные вам поля — поставщика, дату, номер документа, суммы, табличные строки — и проверяет их. Архивирование сохраняет оригинал вместе с извлечёнными данными, чтобы позже его можно было найти, просмотреть и экспортировать. Каждый этап зависит от предыдущего: плохой захват затрудняет распознавание, а плохое распознавание делает извлечение ненадёжным.
Качество захвата важно
Перекошенные, перевёрнутые или перепутанные страницы затрудняют каждый следующий шаг. Хорошее сканирование ориентирует и упорядочивает страницы перед распознаванием, держит многостраничные документы вместе и отделяет один документ от другого. Договоритесь о простых правилах для тех, кто сканирует: снимите скобы, по возможности держите один тип документов в пакете и проверяйте, чтобы последняя страница одного документа не слилась с первой страницей следующего. Быстрое сканирование полезно, только если страницы выходят в правильном порядке.
Распознавание неидеальных документов
Реальные документы не идеальны. На фото с телефона есть тени и перспектива, факсы и копии теряют детали, печати и рукописные пометки перекрывают печатный текст. Хорошая система распознаёт и неидеальные сканы и фото, но должна также сообщать, когда не уверена. Оценивая систему, тестируйте её на своих худших документах, а не на самом чистом образце — именно там видна разница между системами.
Поля шапки и табличные строки
У большинства деловых документов два уровня данных. Поля шапки описывают документ целиком: поставщика, клиента, дату, номер, валюту и итоги. Табличные строки описывают каждую позицию: товар или услугу, количество, цену за единицу и сумму. Извлекать только итоги проще; но именно извлечение каждой строки позволяет проверять цены, сопоставлять поставки и правильно проводить затраты. Решите заранее, какой уровень нужен вашему процессу, потому что от этого зависит и проверка документов, и то, что получают другие ваши системы.
Числа, даты и валюты
Мелкие детали формата приводят к большим ошибкам. Во многих европейских странах запятая — десятичный разделитель, а точка группирует тысячи, тогда как в других странах наоборот; даты могут начинаться с дня или с месяца. Система обработки документов должна разбирать числа, даты и валюты согласно документу, а не по умолчанию. Проверьте это на документах из всех стран и во всех валютах, которые вы получаете.
Проверка и контроль человеком
Никакое извлечение не бывает верным каждый раз, поэтому проверка важна не меньше распознавания. Типичные проверки: сходятся ли табличные строки с итогом, правильно ли рассчитан налог, правдоподобна ли дата, известен ли поставщик? Прошедшие документы идут дальше; не прошедшие попадают к человеку, который видит извлечённые поля рядом с оригинальной страницей и исправляет или утверждает их. Встроенный шаг контроля держит качество высоким без повторного ввода всего вручную.
Ведите архив
Извлечённые данные — лишь половина дела: оригинальные документы нужно хранить, находить и держать столько, сколько требует закон или ваша политика. Хороший архив держит изображения страниц вместе с извлечёнными данными, предлагает полнотекстовый поиск, контролирует доступ каждого пользователя, журналирует, кто что просматривал или экспортировал, и зашифрован. До начала определите срок хранения и процесс удаления для каждого типа документов.
Один архив для многих офисов
Когда документы поступают в несколько офисов, возникает риск нескольких маленьких архивов, в которых никто не может искать одновременно. Лучшая модель: каждый офис захватывает документы в своей учётной записи и видит только свои документы, а всё вместе поступает в один центральный архив, в котором уполномоченные люди могут искать по всем офисам. Договоритесь о едином способе захвата и именования документов для всех офисов; именно единообразие делает центральный архив полезным.
Облако, локально или гибридно
Облачное развёртывание не требует ничего устанавливать на ваших собственных серверах и легко распространяется на многие офисы. Локальное развёртывание держит документы полностью в вашей собственной инфраструктуре, что требуется некоторым организациям и типам документов. Гибрид сочетает оба варианта, например облачный захват в филиалах и архив в головном офисе. Выбирайте сначала по вашим правилам работы с данными, затем по стоимости и удобству.
Измерьте текущие затраты
Прежде чем что-либо покупать, измерьте: сколько документов поступает в месяц и какого типа, сколько времени уходит на повторный ввод и проверку одного, сколько времени тратится на поиск старых документов и как часто ошибки ввода приводят к переделкам или просроченным платежам. Эти цифры показывают, где автоматизация окупается, и дают базу для сравнения после запуска.
С чего начать
Выберите один тип документов с большим объёмом — обычно это счета поставщиков — в одном офисе. Измерьте, сколько времени это занимает сегодня, запустите новый процесс параллельно со старым на короткий период и сравните после первого месяца. Когда результаты станут понятны, добавьте другие типы документов и офисы. Небольшой измеримый старт лучше масштабного внедрения, которое никто не может оценить.
Следующий шаг
Посмотрите, как это работает на вашем случае, или начните с бесплатного предложения без обязательств.
- GDPR с этапа проектирования
- Облако, локально или гибридно
- Работа и поддержка 24/7
- Команда из 5 человек в Софии, ЕС
Уже работает в организациях в Болгарии — названия под NDA.
Частые вопросы
Что такое извлечение данных из документов?
Превращение отсканированных или загруженных документов в структурированные данные: нужные вам поля, готовые для ваших систем.
Что такое поля шапки и табличные строки?
Поля шапки описывают документ целиком, например поставщик, дата и итоги; табличные строки — это отдельные позиции, например товар, количество и цена.
Нужны ли ещё люди для проверки извлечённых данных?
Да, для документов, не прошедших проверку. Шаг контроля, где человек видит поля рядом с оригиналом, держит качество высоким без повторного ввода всего вручную.
Где должен работать архив: в облаке или на наших собственных серверах?
Решайте сначала по вашим правилам работы с данными: локально, когда документы должны оставаться внутри, облако для лёгкого распространения или гибрид обоих вариантов.