«Качество данных — 2022»: данные для бизнеса

«Качество данных — 2022»: данные для бизнеса

Дмитрий Волков: «Эти уже не «новая нефть» для цифровых предприятий, а скорее «плутоний», освобождающий гораздо больше полезной информации, — почти неиссякаемый источник наития для бизнеса»


10:58 04.03.2022  (обновлено: 17:47 04.03.2022)   |   1177 |  Алексей Чернобровцев |  Computerworld Россия

Рубрика Индустрия



Конференция «Качество этих — 2022. Стратегия, инструменты, практики, перспективы», проведенная издательством «Открытые системы» 16 февраля, скопила более четырех сотен специалистов, участвовавших в ее работе очно или онлайн. Это уже третье мероприятие издательства на данную тему, которое свидетельствует о всегда возрастающем интересе ко всем аспектам работы с данными, играющими важнейшую роль в разработке бизнес-стратегий производственной и коммерческой деятельности предприятий из различных областей.

Дмитрий Волков, программный директор серии практических конференций издательства «Открытые системы», отметил, что в работе конференции зачислили участие представители лидеров квадранта Gartner Magic Quadrant for Data Quality Solutions 2021, таких как Ataccama, Informatica, Precisely, SAS.

По утверждению аналитиков Gartner, решения, обеспечивающие качество этих, включают в себя процессы и технологии, способствующие выявлению и пониманию данных, устранению их недостатков. Такие комплексные продукты, в функционал которых входят в том числе профилирование, синтаксический разбор, стандартизация, очистка, сопоставление, мониторинг, создание правил, поддерживают эффективность данных и аналитики, используемых для операционной деятельности и принятия бизнес-решений.

В Gartner помечают, что рынок решений обеспечения качества данных постоянно демонстрирует уверенный рост благодаря повышению спроса на цифровую трансформацию и реализацию инициатив по переходу в облако, и прогнозируют, что, для улучшения поддержки цифровых инициатив, немало половины компаний к 2024 году освоят новейшие решения в области качества данных.

Чтобы прояснить текущую ситуацию и выявить значительнейшие тенденции в сфере управления качеством данных, компания Precisely и Центр бизнес-аналитики Университета Дрекселя провели опрос сотен специалистов по этим и аналитике в организациях с доходом более полумиллиарда долларов. Три четверти респондентов сообщили, что именно качество (Качество — философская категория) данных служит главной целью их программ труды с данными.

Из результатов опроса следует, что организации с децентрализованной структурой управления данными получают меньшую добавленную ценность, чем использующие централизованные и гибридные структуры. Авторы отчета полагают, что качество этих имеет критическое значение для руководителей бизнеса, поскольку позволяет им принимать обоснованные и рациональные решения (многозначный термин). Наряду с этим, качество данных и управление ими — значительнейшие факторы обеспечения целостности информации, позволяющие компаниям полагаться на нее в принятии решений.

«Чтобы извлекать прибыль из данных (зарегистрированная информация:439; представление фактов, понятий или инструкций в форме, приемлемой для общения, интерпретации, или обработки человеком или с помощью автоматических средств), необходимо увериться в их надежности», — заявил Александр Трекин, старший региональный директор по продажам Precisely в России и странах СНГ.

Предложения разработчиков

Конференция завязалась с мастер-класса по управлению (Управление — целенаправленное воздействие на процессы для изменения их прохождения с целью достижения желательного результата или избегания нежелательного) корпоративными данными, организованного Ataccama, где в том числе обсуждались проекты Tele2, X5 Retail Group и «Яндекс.Маркета».

Кирилл Евдокимов, директор практики Data Governance российского офиса компании Ataccama, установил качественные данные как данные, пригодные для использования и обработки при решении конкретной задачи. В Ataccama рассматривают профилирование данных в качестве эффективного инструмента, какой позволяет оценить масштаб проблем с данными. В комбинации с оценками бизнес-пользователей, профилирование позволяет определить приоритеты в решении таких проблем.

Специалисты Ataccama уверены в том, что эффективное управление этими должно опираться на выстроенные процессы взаимодействия между бизнес- и ИТ- подразделениями, а также потребителями и производителями данных (см. также «Ataccama: "Базар управления данными активно развивается"», Computerworld Россия, 07.10.2021). Оптимальной они называют структуру, в которой процессы управления этими предусматривают вовлечение сотрудников различных подразделений организации, обладающих реальной возможностью влиять на качество данных.

Однако, как следует из опыта компании SAS, бизнес-подразделения не вечно осознают свою роль и часто не готовы участвовать в управлении качеством данных. В SAS разработали ряд подходов, приемов и архитектур, способствующих вовлечению бизнеса в процессы улучшения этих. В их основе — формирование доверия бизнеса, который «не должен стоять в очереди за хорошими данными», и предоставление ему возможности воздействовать на выбор инструментов. Основными компонентами успеха, считают в SAS, служат маскирующие сложность архитектура и процессы, простой интерфейс, а также объяснения. Среди успешных методов объяснений, к образцу, называются бизнес-игры по MDM.

Леонид Шумский, руководитель платформенного подразделения консалтинга компании «SAS Россия/СНГ», считает, что бизнес-пользователи должны получать наслаждение от работы с данными, иметь возможность применять собственные проверки, а архитектура самообслуживания призвана брать на себя стоящие за этим сложности.

В компании «Юнидата», разработавшей одноименную перрон управления данными, создали методологии и инструменты управления качеством данных, применение которых, по мнению ее специалистов, может сократить сроки внедрения и нагрузку на бюджет. Это становится привлекательным для предприятий посредственного и малого бизнеса — новых для российского рынка потребителей технологий качества данных.

По словам, Руслана Трачука, технического директора компании «Юнидата», есть несколько правил, соблюдение которых упрощает внедрение решений для работы с данными в небольших компаниях. К их числу относятся: первоначальный старт с одной задачи, использование готовых сервисов, переход к комплексным решениям лишь после успешного решения малых задач и их вывода в продуктив. В качестве универсального рецепта ускорения проекта в «Юнидата» предлагают начинать использовать технологии управления этими уже на ранней стадии его внедрения (см. также ««Юнидата» третий год подряд вошла в отчет Gartner по MDM-решениям», Computerworld Россия, 15.12.2021).

Компания DATAREON, разработчик одноименной масштабируемой перроны управления данными с единой компонентной архитектурой и сервисной шины предприятия для обмена данными между корпоративными информационными системами, представила концепцию решения комплексных проблем управления данными с использованием простых способов и подходов. В их состав входят методы упрощения разнородных данных, организация озер данных, дефиниция и настройка процессов сбора данных, их очистка и нормализация, способы интеграции систем работы с данными.

«При разработке продуктов мы следуем стратегии достижения максимального эффекта при минимальных затратах», — пояснила Ольга Какутина, зодчий решений в компании (может означать: Компания (фр. compagnie) — название формирования, в России ей соответствует рота (пример, Лейб-компания)) DATAREON.

Основное направление деятельности компании Omnidata — разработка и внедрение решений для управления мастер-данными. «Бизнесу необходимы полные, достоверные и своевременные данные для аналитики и принятия решений. В их основе — мастер-данные, набор справочников, описывающих объекты и раздающие их операционным системам», — находит Алексей Сучков, генеральный директор Omnidata.

Он представил обзор практик и инструментов, необходимых для обеспечения и поддержки качества мастер-данных, — от модели этих до качества контроля и мониторинга.

«Качество данных — 2022»: данные для бизнеса

Олег Гиацинтов: «Важно понимать, что бонусы от работы с данными должны заметно превышать затраты на их сервис»

Специалисты DIS Group, мастер-дистрибьютора компании Informatica в России и СНГ, начали активно заниматься проектами Smart Data Lake, которые являются значительнейшими компонентами современных цифровых предприятий, включают вопросы качества данных и обеспечивают эффективную работу специалистов, отвечающих за развитие бизнеса.

«Сравнение этих с новой нефтью становится сегодня общим местом. Однако важно понимать, что бонусы от работы с данными должны заметно превышать затраты на их сервис», — утверждает Олег Гиацинтов, технический директор DIS Group.

Зрелость озера данных предусматривает наличие процессов управления этими Data Governance, зонирование и ролевые подходы, предоставляющие возможность каждому специалисту заниматься собственным делом. К примеру, устраняет необходимость аналитикам этих отвлекаться на их поиск, интеграцию и очистку, которые могут требовать до 90% времени, поясняют в DIS Group.

В компании разработали методологию формирования «неглупых» озер с учетом таких вопросов, как устранение возможных проблем в офисе директора по данным, организация эффективного взаимодействия подразделений в процессе заполнения озера, разграничение ответственности и пр. Создана референсная зодчество на базе решений Informatica.

Практические примеры

Во время пленарной сессии представители предприятий из различных сфер экономики, активно использующих технологии обработки этих, рассказали о своем практическом опыте.

«Работа с качеством данных требует организационных изменений», — считает Александр Погосьян, исполнительный директор по курсу «Качество данных» в ПАО «Сбербанк». В «Сбере» рекомендуют начинать внедрение управления качеством этих с формирования организационной структуры, включая назначение директора по данным и создание команды специалистов, а также с определения процессов, в том числе выделения критических элементов этих (critical data elements, CDE), измерения и ряда других.

«Качество данных — 2022»: данные для бизнеса

Александр Погосьян: «Работа с качеством данных требует организационных изменений»

Эксперимент работы «Сбера» показал, что для исключения конфликтов при работе с данными необходимо четко определить владельцев данных, зафиксировать перечень нарушений их качества, спрашивающих безусловного исправления, а также организовать регулярную просветительскую деятельность и ввести параметры качества данных в стандарты архитектуры и разработки.

В «Банке ВТБ» возникла нужда тиражировать разработанные и применяющиеся в головном офисе практики работы с данными в дочерние компании и зависимые организации. Светлана Бова, директор по управлению этими «Банка ВТБ», пояснила, что для тиражирования решений потребовалось установить очередность таких компаний, определить формат организации работ по тиражированию, организовать контроль и мониторинг внедрений. В основе организационно-технологического решения — «упаковка» всех практик, методов и инструментов для управления этими в форму унифицированного продукта, который предоставляется в распоряжение нижестоящих организаций. В таком продукте содержится широкий спектр требований и рекомендаций — от готовых профилей для подбора специалистов по управлению этими, организационной структуры, планов внедрения и перечня методологий и процессов управления данными до необходимых информационных систем.

Банк России внедрил инструментарий, предоставляющий возможность поднадзорным организациям сформировать системный процесс управления этими и их качеством, который повышает доверие к отчетным данным. Также при поддержке Банка России осуществляются работы по методологической и технологической поддержке участников финансового базара, в том числе запущена система сертификации программных продуктов, работающих с открытым стандартом отчетности XBRL (eXtensible Business Reporting Language).

В территориально распределенной компании «Леруа Мерлен» к приоритетным задачам на линии цифровой трансформации относят управление объемными и сложными справочниками и их поддержание в актуальном состоянии. По словам Любови Коноплиной, директора по качеству мастер-данных «Леруа Мерлен Россия», в сегодняшнее время создается новая платформа управления данными на основе продуктового подхода — совместной работы бизнес- и цифровых подразделений.

Среди задач перроны — сокращение времени предоставления клиентам информации о новых товарах и улучшение взаимодействия с партнерами. Последние, в частности, получают возможность предоставлять эти о товарах в удобных для них форматах и наиболее удобным способом. В платформе используются микросервисная архитектура и единый пользовательский интерфейс. Ее реализация должна содействовать росту доходов от повышения эффективности аналитики на основе качественных мастер-данных.

В экосистеме компаний в X5 Retail Group рассматривают данные как источник конкурентного преимущества, помечая важность управления качеством данных, несмотря на то что «слишком много и данных, и их пользователей».

Для решения этой задачи применяется инструментарий Ataccama и создана организационная структура, охватывающая бизнес X5 Retail Group. В шести доменных командах, обеспечивающих труд с данными, насчитывается почти два десятка специалистов по качеству данных и более 60 DQ-инженеров. Среди поддерживаемых процессов — управление инцидентамим и построение витрин по итогам проверок. Внедрено более десятка процессов по критическим элементам данных — показателям и атрибутам, наиболее важным для бизнеса.

Специалисты курсы качества данных блока разведки и добычи «Газпром нефти» разработали методологию, позволяющую выполнить мониторинг показателей качества на беспрерывной основе, определить соответствие данных реальному состоянию бизнеса и организовать системный процесс обеспечения качества данных (см. также «Качество этих — 2021»: советы бывалых», Computerworld Россия, 10.03.2021).

Достоверные данные позволяют компании «Газпром нефть» убыстрять моделирование процессов добычи, повышать эффективность оценки потенциала системы и определять узкие места, выбирать оптимальные режимы эксплуатации, править надежностью на основе предиктивной аналитики.

В следующих статьях представлены тематические сессии конференции.

Источник

Понравилась статья? Поделиться с друзьями:
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: