Данные в наше время являются ценным стратегическим активом. Однако, чем больше компании накапливают данных, тем очевиднее становится необходимость управления их качеством. Компании хотят быть уверены, что используемая ими информация точна, полна, логически обоснована, уместна и своевременна. Вот пять подходов к управлению качеством данных, которые стоит взять на вооружение
Мы вступили в третью декаду XXI века, в золотую эру обработки и анализа данных. Искусственный интеллект и машинное обучение вышли на новый уровень, облачные технологии готовы по запросу предоставлять необходимые вычислительные ресурсы, а также средства масштабирования и интеграции, тем самым поддерживая передовую аналитику. Новые тренды расширяют поле наших возможностей, а объемы и скорость накопления доступной компаниям информации продолжают быстро увеличиваться, поэтому компании, работающие в самых разных сферах, ищут способы улучшения качества данных.
К сожалению, эти тренды не только дают новые возможности, но и создают определенные проблемы. Управление все более сложными массивами данных требует упорядоченного подхода к интеграции, управлению API и безопасности данных. Кроме того, государственные органы внимательно следят за тем, как лидеры рынка используют ресурсы для управления данными и диктуют им свои правила. Наконец, есть еще одна проблема, связанная с качеством данных: коммерческие потребители в составе организации должны быть уверены, что используемая информация точна, полна, логически обоснована, уместна и своевременна.
В 2021 году можно выделить пять способов управления качеством данных, которые крупным компаниям стоит взять на вооружение.
Для улучшения качества данных недостаточно просто обнаружить и исправить проблемы со статическими данными: компаниям стоит оценивать конвейер данных как единое целое, рассматривая качество данных как процесс, начинающийся в момент первичного поступления элемента данных в корпоративную систему. При разработке программ для управления качества данных стоит действовать на опережение и учитывать все этапы функционирования системы обработки данных.
Рассмотрим ситуацию, когда пользователь вводит на сайте чужие личные данные, чтобы скачать информацию или просмотреть вебинар. Было бы удобно сразу обнаруживать этот факт, чтобы впоследствии исключить ошибочную рассылку от отдела продаж. В этом конкретном случае общепринятый подход «нашел-исправил» сработает хуже, чем проактивные методы.
Исторически управление качеством данных рассматривают как нечто требующее плановых обслуживания и ремонта: компании время от времени изучают уже накопленную в корпоративных базах информацию с целью выявления проблем. Это может сработать, но целостный подход гарантирует более высокое качество данных.
Алгоритмы ИИ и МО продолжают динамично развиваться, и в ближайшее время нас однозначно ждут разнообразные эксперименты с этими технологиями и их внедрение во многих отраслях. Уже сегодня существует множество кейсов их применения в бизнесе, в частности – для оптимального управления качеством данных.
Хотя некоторые считают это фундаментальным процессом, подчиненным строгим правилам, однако множество сопутствующих задач требует более сложного алгоритмического подхода. Сегодня человек едва ли способен обработать весь объем поступающей информации, особенно учитывая сложность сегодняшних источников данных (в частности – неструктурированных данных). С помощью технологий, которые могут обучаться и совершенствоваться с течением времени, а именно – ИИ и МО, компании смогут добиться лучших результатов в проектах по управлению качеством данных.
Обогащение данных дополняет существующую информацию контекстом, что в свою очередь позволяет руководителям компаний рассматривать ее под новым углом. Например, человек может числиться в программе страховой компании как владелец полиса на недвижимость, но не менее важна информация о том, что у него есть собственный бизнес или что в его страховку на автомобиль вписаны члены семьи. Компания, располагающая такой информацией, лучше понимает потребности своих клиентов и знает, как убедить их купить предлагаемые товары и услуги – и тем самым создать конкурентное преимущество.
Здесь также могут помочь и данные о местоположении – в частности, они дают возможность проверить существующие данные по внешним источникам. Самым простым (но при этом – очень важным!) примером является проверка адресов. Кроме того, такие данные могут применяться для проверки соответствия ипотечных или страховых предложений ценовому диапазону данного региона.
Сегодня компании все чаще пытаются с помощью данных повысить прибыльность бизнес-процессов и эффективность стратегических решений. Многие из них уже поняли, что данные низкого качества сводят на нет усилия по применению данных в качестве стратегического актива. Так, например, контактная информация достаточно быстро теряет свою актуальность: клиенты, руководители и поставщики меняют названия своих организаций, адреса и реквизиты. Дополнительный риск ошибиться обусловлен человеческим фактором, но даже генерируемые машинами данные могут оказаться неточными вследствие неисправности или сбоя при передаче информации.
Сегодня руководителям предприятий стоит действовать на опережение: подходить к поиску и исправлению ошибок проактивно, а также внедрять меры по борьбе с появлением таких ошибок.
Наконец, компании могут внедрять программы, которые позволят в достаточном объеме реализовать оптимальные способы управления данными. Сегодня существуют законы о защите данных – скажем, европейский регламент о защите личных данных (GDPR) или закон штата Калифорния о защите персональных данных потребителей (CCPA), которые диктуют компаниям применение единого подхода к управлению внутренними информационными активами. Физические и юридические лица заинтересованы в надежной защите данных, а для этого нужна единая стратегия. Если компании хотят сохранить свою конкурентную способность в ближайшем десятилетии, им стоит, в первую очередь, перевести данные в разряд стратегических активов и в совершенстве овладеть искусством управления ими, при условии что они не хотят проиграть более технически подкованным конкурентам.
Сегодня предприниматели в самых разных областях делают ставку на качество данных и управление ими, а контроль качества данных перестал быть прерогативой ИТ-отделов. Аналитики Gartner называют эту тенденцию «демократизацией данных», а компании отдают предпочтение инструментам и технологиям, с помощью которых работать с данными смогут даже неопытные и непрофильные специалисты.
