Обоснование необходимости Хранилища данных

Дата: Август 2002 года
Автор: Ларри Гринфилд (Larry Greenfield )
Перевод: Intersoft Lab

Рассмотрим основные причины, вынуждающие предприятия реализовывать технологию Хранилищ данных. В литературе эти причины очень часто путают с "вторичными преимуществами", которые дает эта технология. В рекламных проспектах, посвященных Хранилищам обязательно найдется фраза о том, что они используются для "преобразования данных для бизнес-анализа", "помогают в принятии решений на основе фактов, а не интуиции", "дают возможность поближе узнать клиента" и, конечно, везде вставляется фраза о достижении "конкурентных преимуществ". Но в 99% случаев Хранилища данных - только первый шаг в осуществлении всех этих далеко идущих целей.

А теперь перечислим, для чего компании может понадобиться Хранилище:

Для выполнения серверных/дисковых задач, связанных с созданием запросов и отчетов на серверах/дисках, не используемых в системах обработки транзакций (OLTP - online transaction processing)
 

Большинство фирм стремятся настроить системы обработки транзакций так, чтобы все операции выполнялись за приемлемое время. Например, отчеты и запросы, требующие гораздо большего объема ограниченных ресурсов, чем обработка транзакций, тем не менее выполняются на серверах/дисках, а поэтому мешают своевременному выполнению транзакций. Или же для выполнения запросов и отчетов используются серверы/диски, отводимые под системы обработки транзакций - в этом случае может осложниться управление ресурсами, а желаемое время ответа на запрос вряд ли будет получено. В связи с этим рекомендуется реализовывать архитектуру Хранилища данных, использующую отдельные серверы/диски для создания запросов/отчетов, что позволит добиться приемлемого времени обработки транзакций и будет разумно и с финансовой и с организационной точки зрения.

Для использования моделей данных и/или серверных технологий, ускоряющих создание запросов и отчетов, но не предназначенных для обработки транзакций
 

Существуют методы моделирования данных, существенно сокращающие время выполнения запросов и отчетов (например схема "звезда"), но не предназначенные для обработки транзакций, так как лежащие в их основе технологии замедляют и усложняют OLTP-процессы. Кроме того, некоторые серверные технологии хотя и повышают эффективность обработки запросов и отчетов, но замедляют обработку транзакций (например битовое индексирование - bit-mapped indexing), и наоборот (например восстановление транзакций). Причем влияние того или иного метода моделирования или серверной технологии меняется от поставщика к поставщику, а также в зависимости от того, в какой ситуации они применяются.

Для создания среды, в которой написание и поддержка запросов и отчетов не требует больших знаний в области технологий баз данных. А также для обеспечения средств, позволяющих техническим специалистам ускорить процесс написания и поддержки запросов и отчетов
 

Часто Хранилище данных настраивается таким образом, что несложные запросы и отчеты можно написать, даже не имея серьезных технических знаний. Тем не менее, такие пользователи все равно сталкиваются с трудностями и вынуждены обращаться за помощью к сотрудникам отдела информационных систем. Последним, возможно, тоже удобнее работать с Хранилищем. Необходимо отметить, что ведение отчетов и запросов в Хранилище данных сокращает количество бюрократических процедур, и это тоже повышает производительность работы технического персонала.

Для создания репозитория "очищенных" данных системы обработки транзакций и последующего получения отчетов из этих данных без изменения самой OLTP-cистемы
 

Типы ошибок, которые нужно устранить для "очистки" данных описаны в небольшой статье "Неформальная систематика ошибок в хранилище данных" (An informal taxonomy of data warehouse data errors). Хранилище дает возможность очистки данных без изменения систем обработки транзакций. Тем не менее, стоит обратить внимание на то, что в некоторых реализациях этой технологии предусмотрена возможность фиксировать исправления и затем переносить их обратно в OLTP-системы. Иногда такой способ исправления ошибок удобнее, чем непосредственные изменения в системе обработки транзакций.

Для упрощения формирования запросов и отчетов по данным из нескольких систем обработки транзакций, а также из внешних источников данных и/или по данным, которые хранятся только для отчетности
 

Долгое время для составления отчетов по данным из нескольких систем организации были вынуждены писать специальные процедуры извлечения данных и выполнять операции сортировки и объединения, а затем уже составлять отчеты по отсортированным (и/или объединенным) выборкам данных. Во многих случаях эта стратегия вполне адекватна. Но если организация хранит большой объем данных, требующих частой сортировки (объединения), а также "очистки", то лучше всего реализовать Хранилище.

Для создания репозитория данных OLTP-системы, содержащего долговременную информацию, хранение которой в системе обработки транзакций не эффективно. Либо для генерации отчетов, отражающих ситуацию в предыдущие периоды
 

Чтобы не замедлять выполнение операций, старые данные часто удаляются из систем обработки транзакций. Однако для отчетности и составления запросов есть смысл держать эту информацию в Хранилище, где время отклика не так критично. Что касается отчетов по прошлым периодам, то их создание часто затруднено, а то и вовсе невозможно. Пусть, например, нужно получить информацию о зарплате сотрудников третьего разряда согласно сетке оплаты труда на начало каждого месяца 1997 года. Это оказывается невыполнимым, поскольку в базе данных хранятся записи только о текущем разряде сотрудников. Для решения подобного рода проблем удобно воспользоваться Хранилищем данных, поддерживается так называемое "медленно изменяющееся измерение".

Для ограничения доступа к базе данных системы и программной логике ее управления лицам, использующим данные OLTP-систем исключительно для составления отчетов и запросов
 

В этом случае основная цель - защита информации. Например, если организация предоставляет возможность формирования отчетов и запросов через Интернет, то имеет смысл использовать Хранилище данных.

Одни фирмы разрабатывают Хранилища данных в силу всех описанных выше причин, другим же достаточно только одной из них.
Не стоит утверждать, что реализация технологии Хранилищ не преследует коммерческих целей. Однако их можно достичь только при решении одной или нескольких из вышеперечисленных задач.
Если присмотреться к ним внимательно, то становится ясно, что необходимость создания Хранилищ часто связана с несовершенством систем обработки транзакций. Однако подобные ограничения присущи не всем системам этого класса, и, кроме того, они не всегда критичны.

В заключении повторим сказанное выше. Для того чтобы реализовать возможности Business Intelligence, а также получить более подробную информацию о клиентах и иметь хорошие "конкурентные преимущества", организации не достаточно просто разработать Хранилище данных. Необходимо решить (как правило методом проб и ошибок) не менее сложную задачу об оптимальном использовании Хранилища и последующем изменении практики деловых отношений.