1С:MDM Управление мастер-данными КОРП

«1С:MDM Управление мастер-данными КОРП» — это программное обеспечение класса «Управление мастер-данными» (в англоязычной терминологии — Master Data Management, MDM). С помощью «1С:MDM Управление мастер-данными КОРП» можно реализовать различные сценарии управления мастер-данными (централизованный, гармонизированный, консолидированный, смешанный), контролировать потоки интеграции, а также формировать и контролировать единые правила нормализации мастер-данных. Программный продукт позволяет повысить и поддерживать высокое качество мастер-данных, помочь в сборе консолидированной отчетности, а также обеспечить единые подходы к управлению мастер-данными.

Конфигурация «1С:MDM Управление мастер-данными КОРП» ориентирована на работу с корпоративными мастер-данными крупных предприятий и холдинговых структур. Система представляет собой полностью новую разработку, созданную с учетом опыта разработки систем управления мастер-данными для крупномасштабных организаций. Программный продукт отличают расширенная настройка процессов, автоматизированные механизмы контроля и поддержания качества мастер-данных на всех этапах их жизни, а также настройки, позволяющие учитывать различные требования клиентов.

Программный продукт «1С:MDM Управление мастер-данными КОРП» позволяет:

• Управлять объектами мастер-данных доменов «Контрагенты», «Номенклатура» и «Предприятие» с преднастроенной моделью данных и правилами поиска дублей.
• Выполнять конфигурирование и ведение объектов мастер-данных, формировать и поддерживать актуальность архитектуры объектов мастер-данных: атрибутного состава, набора и структуры классификаторов, правил нормализации и контроля дублей.
• Управлять правилами описания, отображения и контроля качества мастер-данных.
• Выполнять нормализацию записей объектов мастер-данных.
• Управлять процессами по внесению изменений в записи объектов мастер-данных, обработке дублей и формированию заданий с возможностью формировать группы процессов.
• Контролировать качество записей объектов мастер-данных.
• Собирать и загружать данные из различных прикладных систем и прочих источников, осуществляя контроль и нормализацию загружаемых данных.
• Распространять записи объектов мастер-данных по прикладным системам, используя различные коннекторы, а также API.
• Формировать статистические отчеты о процессах ведения и качестве записей объектов мастер-данных.
• Работать с веб-интерфейсом «1С:MDM Управление мастер-данными КОРП» в режиме главного окна «Встраиваемое рабочее место» из прикладных систем, реализованных на платформе «1С:Предприятие».

Решение является полностью открытым, не содержит закрытых фрагментов кода и полностью доступно для адаптации под нужды конечных пользователей.

В любой организации имеются совместно используемые данные, без которых трудно представить ее нормальную работу: юридические данные, клиентская база, сведения о поставщиках и контрагентах и пр. Пользователи этих данных рассчитывают на их согласованность в пределах организации, т. е. ожидают получить одну и ту же информацию об одном и том же объекте из разных источников.

Разночтения и противоречия здесь порождают проблемы: задержки, коллизии, финансовые и имиджевые потери организации. На рисунке перечислены типовые проблемы, возникающие в организациях при недостаточном внимании к ведению мастер-данных (на примере крупных промышленных предприятий).

Конфигурация «1С:MDM Управление мастер-данными КОРП» предоставляет все необходимые механизмы, позволяющие внедрить на предприятии подход к управлению мастер-данными как ценным корпоративным активом. Решение представляет собой разработку, реализованную с учетом опыта создания систем управления мастер-данными для крупномасштабных организаций. При проектировании конфигурации основной акцент был сделан на развитие функционала управления корпоративными мастер-данными по следующим направлениям:

• Настройка модели данных и общих механизмов.
• Классификация записей.
• Процессы управления мастер-данными.
• Импорт данных.
• Контроль качества данных.
• Интеграционные механизмы.

В рамках создания корпоративной системы управления НСИ на базе «1С:MDM Управление мастер-данными КОРП» могут быть реализованы все часто используемые варианты интеграции данных (централизованный, гармонизированный, консолидированный, смешанный).

Общее описание функциональности «1С:MDM Управление мастер-данными КОРП»

Конфигурация «1С:MDM Управление мастер-данными КОРП» предназначена для управления, хранения, актуализации и унификации справочной информации, что обеспечивается единством представления массивов данных во всех информационных системах организации. Система ориентирована на управление корпоративными мастер-данными крупных предприятий и холдинговых структур.

Система «1С:MDM Управление мастер-данными КОРП» используется для централизованного ведения справочников организации и позволяет объединить в себе все справочники организации, как единственный достоверный источник эталонных данных.

Система представляет собой совокупность процессов и инструментов управления мастер-данными в организации.

Объектами Системы являются справочники, настроенные в подсистеме Конфигурирования объектов мастер-данных.

Основными объектами мастер-данных являются:

• Контрагенты,
• Банковские счета контрагентов,
• Договоры контрагентов,
• Номенклатура,
• Организации,
• Банковские счета организаций.

В системе доступна настройка и ведение сопутствующих (дополнительных) и пользовательских справочников. Последние создаются в любом количестве под нужды организации.

Дополнительными объектами мастер-данных являются:

• Валюты,
• Виды договоров,
• ОКОПФ,
• Группы аналитического учета,
• Единицы измерения,
• Марки,
• Модификации номенклатуры,
• НТД,
• ОКПД2,
• ОКТМО,
• Производители,
• ТНВЭД,
• ОКАТО,
• ОКФС,
• Классификатор банков,
• ОКВЭД2,
• Страны мира.

Объекты мастер-данных могут быть представлены в линейном и в иерархическом виде в зависимости от настроек объекта мастер-данных.

Программное решение состоит из следующих основных компонентов:

• Подсистема конфигурирования объектов мастер-данных.

Предназначена для управления архитектурой объектов мастер-данных. В том числе: структурой объектов мастер-данных, классификаторов, их атрибутивным составом и структурой правил их нормализации.

• Подсистема отображения данных.

Предназначена для навигации, поиска и отображения данных. В том числе: параметрического, полнотекстового поиска, поиска по классификаторам.

• Подсистема управления процессами.

Предназначена для управления процессами поддержания актуальности записей объектов мастер-данных. В том числе: маршрутами движения, экранными формами и временными метриками заявок.

• Подсистема нормализации и контроля качества данных.

Предназначена для ручной и автоматической нормализации записей объектов мастер-данных. В том числе для: классификации, валидации, обогащения записей объектов мастер-данных, поиска и связывания дублей.

• Подсистема интеграции.

Предназначена для учета взаимосвязей записей объектов мастер-данных с записями прикладных информационных систем, а также для управления процессами выгрузки/загрузки данных из различных источников, репликацией данных в системы — потребители.

• Подсистема администрирования.

Предназначена для управления ролевой моделью и конфигурирования свойств системы. В том числе: управления доступом на уровне групп пользователей, справочников, контроля активности пользователей и функционирования системы.

• Прикладной программный интерфейс.

Позволяет использовать систему как элемент сервис-ориентированной архитектуры. В том числе: осуществлять поиск и добавление записей объектов мастер-данных, создание процессов путем вызова веб-сервисов.

Система «1С:MDM КОРП» позволяет настраивать объекты мастер-данных в пользовательском режиме. Для ведения записей объектов мастер-данных в различных разрезах есть возможность указания произвольного количества классификаторов, для каждого из которых настраиваются:

• Обязательность заполнения.
• Множественность (выбор нескольких классов одного классификатора).
• Ограничение выбора только терминальных классов (нижнего уровня).
• Применение атрибутов классов.
• Применение правил классов.

Для обеспечения структуры объектов мастер-данных система позволяет:

• Создавать произвольные объекты мастер-данных в пользовательском режиме. Для этого предназначены объекты мастер-данных с типом «Пользовательские данные». Пользовательские данные разбиты по доменам, что обеспечивает быстродействие при их использовании и интерфейсное распределение по подсистемам.
• Добавлять произвольный набор атрибутов. Данные атрибуты отображаются и доступны для заполнения на форме элемента записей объектов мастер-данных.
• Настроить произвольный перечень реквизитов, для которых предусмотрено ведение истории изменений значений, с указанием даты начала действия.
• Настроить произвольный набор правил, которые будут применяться к записям при их создании и изменении. Это позволяет обеспечить верификацию данных.
• Контролировать уникальность записей путем применения правил поиска дублей как к записям объектов мастер-данных, так и к заявкам. Для каждого объекта мастер-данных в системе реализованы преднастроенные правила поиска дублей с возможностью их изменения в пользовательском режиме.

В системе «1С:MDM КОРП» преднастроена модель данных по следующим доменам мастер-данных:

• «Номенклатура».
• «Контрагенты».
• «Предприятие».

Для обеспечения высокого качества данных для объектов мастер-данных реализован набор преднастроенных алгоритмов контроля вводимых значений (более 50 проверок), а также условная видимость и обязательность полей. Данные настройки выполнены на форме записи объекта мастер-данных и форме задач процессов.

• Формировать модификации номенклатуры (аналог характеристик номенклатуры в 1С:ERP). Модификации могут быть как индивидуальные, так и общие.
• Вести перечень аналогов номенклатуры с односторонней и полной взаимозаменяемостью.

Для группировки записей объектов мастер-данных в системе реализован функционал ярлыков. Он позволяет пользователям помечать произвольный набор записей объектов мастер-данных (например, договоры, по которым они являются ответственными) для более быстрого отбора на формах списков.

• Указывать произвольный набор атрибутов, настраивать их обязательность, порядок, а также значение по умолчанию. Доступны атрибуты с множественным значением выбора.
• Заполнять допустимые значения атрибутов.
• Формировать зависимости значений атрибутов. Данный механизм помогает пользователю при вводе значений, а также контролирует корректность введенных данных при записи элемента.
• Настроить произвольный набор правил, которые будут применяться к записям при их создании и изменении. С помощью правил можно сформировать значения реквизитов (например, наименований), а также выполнить дополнительную верификацию данных.

Для облегчения работы методологов в системе предусмотрен механизм копирования настроек атрибутов между классами и шаблонами.

Процессы управления мастер-данными

Для управления мастер-данными в системе предусмотрен функционал процессов. Система позволяет настраивать следующие виды процессов:

• Обработка объектов мастер-данных. Процесс обеспечивает создание/изменение записей объектов мастер-данных. В рамках процесса доступна возможность корректировки как основного предмета, так и связанных с ним записей (например, «Контрагент» + «Договоры контрагента» + «Банковские счета контрагента»). Формы записи объекта мастер-данных и заявки, а также алгоритмы контроля значений преднастроены и совпадают между собой с возможностью изменения свойств полей заявки (видимость, обязательность, доступность) как в целом для процесса, так и на шагах процесса.
• Обработка дублей. Позволяет обработать дублирующие записи и сформировать/расформировать группу дублей. В рамках процесса доступно сравнение значений записей с возможностью выбора эталонной записи.
• Регистрация аналогов номенклатуры. Позволяет выполнить регистрацию аналогов номенклатуры, а также исключить аналоги. Аналоги могут быть как однонаправленные, так и с полной взаимозаменяемостью. 
• Задания. Процесс позволяет зафиксировать и направить поручение ответственному пользователю или группе пользователей с указанием планового срока выполнения данного задания. При необходимости ответственный может запросить увеличение планового срока выполнения, и эта информация будет сохранена в системе.

• Настраивать произвольную схему процесса в пользовательском режиме с использованием графического редактора. Такой подход позволяет настраивать процессы любой сложности, в том числе:

  • параллельное согласование;

  • использование нескольких точек старта и завершения;

  • возврат к пройденным шагам процесса;

  • автоматическая обработка;

  • использование вложенных процессов;

  • маршрутизация по условиям.

• Добавлять неограниченное количество переходов для каждого шага. Это позволяет реализовать гибкое перемещение по шагам процесса.
• Выполнять проверку корректности настройки схемы процесса.
• Гибко настраивать исполнителей шагов процесса (включая ограничения и условия запуска в точках старта) с возможностью указания приоритета исполнителя шага. Это позволяет выполнить корректный выбор исполнителя при зацикливании шагов процесса.
• Указать график работы пользователя как в целом для процесса, так и на шагах процесса. График работы используется при расчете планового времени выполнения задач.
• Для каждого шага процесса настраивать произвольные алгоритмы, которые будут выполняться при прохождении процесса:

  • с использованием принципа No Code. Это позволяет снизить требования к квалификации специалиста;

  • путем написания программного кода на языке «1С:Предприятия» в пользовательском режиме;

  • с использованием функций интерактивного взаимодействия с пользователем (например, ввод пользователем значения).

• Настраивать произвольные оповещения пользователей как в целом для процесса, так и на шагах процесса. Оповещения могут быть направлены в виде служебных сообщений, по электронной почте либо в Telegram.

• Объединять произвольный набор процессов.
• Выполнять оповещения пользователей при завершении всех процессов, входящих в данную группу.

Для выполнения загрузки данных из внешних источников в системе реализован механизм «Мастер импорта», который позволяет:

• Выполнять загрузку следующих объектов системы:
  • объекты мастер-данных (включая контактную информацию, табличные части, классификацию и значения атрибутов);
  • классификаторы (включая шаблоны классов);
  • атрибуты (включая допустимые значения и зависимости);
  • регистры сведений.
• Формировать шаблон файла для заполнения загружаемых данных.
• Автоматически сопоставлять поля файла и объекта системы (с возможностью ручной корректировки пользователем в табличном виде).
• Указывать ключевые поля для поиска загружаемых записей.
• Устанавливать значения полей по умолчанию при загрузке.
• Указывать ключ поиска для ссылочных полей.
• Выполнять загрузку данных как напрямую в объект мастер-данных (создание новых записей и/или изменение существующих), так и создавая процессы с возможностью их объединения в группы процессов.
• Настраивать опционально:
  • контроль дублей;
  • проверку корректности заполнения;
  • применение правил, обеспечивающих верификацию данных.
• Сохранять и повторно использовать настройки загрузки данных.
• Протоколировать сеансы импорта с описанием загруженных данных и возникших ошибок (в разрезе каждой загружаемой записи).
• Возобновить сеанс импорта после непредвиденного обрыва сеанса.

Все настройки загрузки данных выполняются в пользовательском режиме без необходимости привлечения разработчика.

Для поддержания высокого качества мастер-данных разработана подсистема качества данных. Подсистема позволяет:

• Настраивать проверки данных, используя преднастроенные алгоритмы проверки.
• Настраивать массовые и индивидуальные проверки данных, формируя произвольные алгоритмы проверки в пользовательском режиме.
• Выполнять мониторинг данных на соответствие реализованным правилам.
• Ранжировать найденные ошибки по важности и срочности их устранения.
• Хранить и отображать найденные ошибки в привязке к записям объектов мастер-данных.
• Формировать статистику качества данных за период.
• Формировать отчеты по ошибкам проверки качества данных.

Для устранения выявленных ошибок в системе реализованы следующие массовые механизмы:

• Нормализация. Данный механизм позволяет применить настроенные правила к отобранному или выделенному перечню записей объекта мастер-данных.
• Корректировка. Данный механизм позволяет выполнить изменение значений в отобранном или выделенном перечне записей объекта мастер-данных.

Интеграционные механизмы

Подсистема интеграции

Для взаимодействия с внешними системами «1С:MDM КОРП» имеет встроенную подсистему интеграции. Данная подсистема позволяет:

• Вести список внешних систем и транспортных каналов взаимодействия с ними.
• Связывать мастер-данные с внешними системами с детализацией до конкретной записи при помощи подписок на объекты.
• Маршрутизировать записи мастер-данных на внешние системы по сложным логическим условиям на основании значений реквизитов, атрибутов, классификации, подписок на объекты.
• Настраивать правила формирования сообщений передачи записей мастер-данных и загрузки сообщений из внешних систем в конфигураторе и пользовательском режиме.
• Использовать общий или индивидуальный формат и структуру сообщений для каждой внешней системы.
• Вести журнал синхронизации записей мастер-данных с внешними системами при помощи механизма номеров версий.
• Выполнять мониторинг состояния обработки сообщений передачи данных.
• Просматривать ошибки обработки сообщений передачи данных.
• Вести архив отправляемых и принимаемых сообщений с возможностью их повторного принятия и отправки.
• Отправлять сообщения через HTTP, механизм сервисов интеграции платформы «1С:Предприятие» («1С:Шина» состав встроенных коннекторов будет расширяться).
• Добавлять программируемые коннекторы через механизм внешних и встроенных обработок.
• Включать, выключать, приостанавливать интеграцию по отдельным типам мастер-данных.
• Выполнять событийную интеграцию. По умолчанию к интеграции регистрируется событие записи объектов мастер-данных. Также реализована возможность регистрации произвольных событий (например, выполнение задач процесса).

Подсистема включает в себя HTTP API, который позволяет:

• Получать изменения мастер-данных для внешней системы.
• Получать наборы записей мастер-данных с фильтрацией по реквизитам, атрибутам, классам, контактной информации.
• Выполнять синхронные и асинхронные (по шаблону «асинхронный запрос/ответ») запросы в MDM с возможностью настройки правил их обработки.
• Отправлять пакеты сообщений передачи данных в очередь MDM для обработки.

Подсистема поддерживает следующие сценарии обмена сообщениями:

• «Проталкивание» (push) сообщений во внешние системы через системы обмена сообщениями, такие как «1С:Шина», с гарантией доставки.
• «Проталкивание» (push) сообщений во внешние системы через HTTP с гарантией доставки.
• «Вытягивание» (pull) внешней системой изменений мастер-данных с индивидуальной структурой и форматом из MDM через HTTP API.