Когда в начале 1990-х годов только начинался процесс глобальной информатизации России, руководители большинства крупных предприятий не задумывались над тем, как создать информационную систему на своих объектах. С тех пор многое изменилось. Сегодня уже практически в каждой более-менее значительной организации, независимо от формы собственности и рода деятельности, существуют хотя бы зачатки систем автоматизации рабочих процессов. И среди их представителей постоянно ведутся разговоры о необходимости модернизации вычислительных мощностей. При этом современные концепции предполагают комплексные и чрезвычайно сложные решения — такие, как центры обработки данных, дальнейшее развитие которых пойдет по пути еще большего усложнения и повышения производительности. Изменилась, соответственно, и роль ИТ-подразделений, ставших сегодня одними из самых важных структур почти любой организации. Что говорить о компаниях, занятых созданием и интеграцией информационных систем, крупнейшие из которых превратились за это время в серьезных игроков ИТ-рынка с годовой выручкой около $1 млрд.

Пожалуй, первыми необходимость использования информационных технологий в управлении бизнес-процессами осознали руководители крупных частных компаний, прежде всего, из нефтяного и банковского секторов экономики. Так, уже в 1993 году в «Лукойле» была создана структура, непосредственно занятая вопросами информатизации — «Лукойл-Информ». Аналогичные действия были проведены рядом других энергетических и финансовых компаний. Постепенно реализовывались решения по созданию некого единого комплекса, вбирающего в себя автоматизацию выполнения всех задач на современном уровне. Концепция единого центра обработки информации становилась все понятнее. Но до конца 1990-х годов полноценные дата-центры в России не появлялись. Потребности бизнеса в интеграции всех ресурсов еще не были столь критичными. Да и удовлетворить их было бы практически невозможно. Пропускная способность телекоммуникационных линий и мощность серверов не позволили бы создавать консолидированные центры. Но на рубеже тысячелетий положение резко изменилось — стали появляться новые серверные решения, коренным образом улучшились возможности передачи информации. Результат не заставил себя долго ждать. Большие и географически разделенные компании, такие как «Сбербанк», «Альфа-Банк», «Лукойл», «ЮКОС» и др., начали «собирание земель». На этом пути бизнесу и пришедшим ему на помощь интеграторам пришлось столкнуться с рядом неизвестных доселе проблем, многие из которых проявляются еще и сегодня. Но постепенно, исходя из накапливаемого опыта, были сформулированы концепции создания современного ЦОД.

Философские аспекты

Итак, что такое центр обработки информации сегодня? Здравый смысл и знание русского языка подсказывают нам, что это место, куда попадают специфические сведения, где их затем сортируют с помощью суперактуальной и мощной вычислительной техники и на их основе выносят решения. Однако к этому месту, вычислительной технике и проводам, по которым идет обмен информацией, можно предъявить разные требования. И именно от них будут зависеть параметры ЦОД.

Как оказалось, сущность ЦОД — довольно острая тема. Последние несколько лет специалисты ведущих компаний-интеграторов регулярно обсуждают характеристики современных дата-центров, их роль в жизни предприятия, специфики построения, перспективы развития и т.д. В то же время из выступлений участников этой дискуссии можно вычленить некоторые аспекты, по которым большинство из них солидарны. Наиболее оптимальным определением ЦОД, как отмечают многие эксперты, является определение, данное в американском стандарте EIA/TIA-942. Звучит оно так: центр обработки данных — это здание или его часть, первичной функцией которых является размещение оборудования обработки и хранения информации, а также вспомогательных (инженерных) средств, обеспечивающих его работу.

Сегодня руководители самых разных корпораций приходят к выводу, что централизация вычислительных мощностей поможет поднять уровень сервиса услуг, предоставляемых компанией своим клиентам, и обеспечить повышение производительности сотрудников за счет увеличения скорости выполнения операций, улучшения контроля и т.д. Более того, в отличие от децентрализованного подхода к организации ИТ-инфраструктуры компании, наличие ЦОД экономит финансы и способствует повышению надежности всей информационной системы.

По неоднократно озвученному мнению представителей компании «Крок», целью построения ЦОД является «автоматизация задач бизнеса с требуемым уровнем качества предоставляемых ИТ-сервисов». Заказчику, в свою очередь, главное быстро получить результат и быть уверенным, что система будет работать без сбоев. При этом потребности могут увеличиваться, а значит, необходимо сразу предусмотреть возможность отреагировать на это без больших затрат. Поэтому ЦОД должен быть легко масштабируем и создан из идентичных систем. Отсюда и знаменитая четверка концепций современного ЦОД: производительность, маштабируемость, надежность, безопасность.

Безусловно, не стоит сбрасывать со счетов извечное требование любого руководителя — расходы должны быть как можно меньше. Не исключение и затраты на строительство и эксплуатацию ЦОД. Значимость подобных требований становится очевидна, когда узнаешь о том, во сколько обходится интеграция ресурсов в одном центре. По оценке специалистов, сейчас создание современного дата-центра площадью около 500 кв.м. обойдется примерно в $6 млн, и то при условии, что не возникнет инженерных проблем с помещением или аппаратурой.

Добиться выполнения всех требований нелегко, и зачастую свои коррективы вносят объективные условия. Тем не менее, каждый из десятки наиболее крупных российских интеграторов за последний год выполнил около пяти проектов по созданию дата-центров высокой сложности. Нетрудно сделать вывод: дата-центры уже существуют в России как класс.

ЦОДы строят банки, ТЭК и ЖКХ

Безусловно, сегодня в развитии цодостроения в России начинается новый этап. Количество проектов растет, при этом ЦОДы усложняются и увеличиваются в размерах. Вероятно, не будет ошибочным утверждение, что для интеграторов настало золотое время. Сейчас наиболее крупные из них развиваются быстрее рынка, чему в немалой степени способствует и рост спроса в сегменте ЦОД. Средний бизнес, подталкиваемый жесткой конкуренцией, постепенно осознает выгоду использования интеграционных дата-центров. Крупные компании, давно обзаведшиеся вычислительными центрами, все чаще прибегают к созданию резервных мощностей.

Одним из таких проектов является построение резервного вычислительно центра для одного из крупнейших российских банков, недавно осуществленное компанией «Крок». Комплекс с полезной площадью 250 кв. м был выполнен «с нуля», что означало участие интегратора во всех работах, начиная от подбора помещения и заканчивая вводом резервных мощностей в эксплуатацию. Помимо стандартного перечня решений (промышленное кондиционирование, система бесперебойного питания, система гарантированного электропитания, система пожаротушения), были реализованы и дополнительные опции — прежде всего, система физической безопасности, включающуаяв себя видеонаблюдение, и систему мониторинга физических параметров деятельности ЦОД.

Как рассказал руководитель направления центров обработки данных компании «КРОК» Руслан Заединов, чаще всего, в таких случаях заказчик формулирует свои требования не в технических терминах, а в терминах бизнес-процессов. И в этот раз представители банка ставили задачу обеспечения непрерывности ряда бизнес-процессов. Поэтому проект начался с обследования совместно с сотрудниками банка существующей ИТ-инфраструктуры и того, как критичные процессы реализуются через ИТ-сервисы. И только после установления связи конкретных бизнес-процессов и конкретных платформ, появилась возможность принимать проектные решения по созданию резервного центра.

Еще одна специфическая черта создания таких систем заключается в подборе аппаратуры. Поскольку задача заключается в дублировании бизнес-процессов, проходящих на некой технической базе основного ЦОД, то и саму базу необходимо максимально последовательно продублировать. Решение задачи обеспечения надежности потребовало около полутора лет, из которых непосредственно на создание ЦОД ушло практически 10 месяцев 2007 года, чему предшествовал более чем полугодовой период аналитических изысканий.

И хотя этот проект крупнее многих других, ряд сопутствующих его реализации особенностей можно назвать типичными для всех проектов по созданию ЦОД. Во-первых, здесь ЦОД разместился в уже готовом здании, и конструкция предназначенного для него помещения не учитывала всех потребностей ЦОД. Например, в связи с некоторыми особенностями крыши здания, отсутствовала герметичность помещения. Поэтому возникла необходимость привлечения субподрядчика для перестройки крыши. Другая особенность — обеспечение работоспособности ЦОД независимо от режима работы городской энергосети. Выбор был сделан в пользу собственной ДГУ, а ее установка потребовала конструирования специальных шасси. При создании любого ЦОД деятельность ИТ-специалистов неразрывно связана с большим объемом инженерных работ.

На фоне роста числа ЦОД в банках и компаниях топливно-энергетического комплекса, начинают создавать интегрированные информационные системы и крупные государственные структуры из разных отраслей, в том числе в регионах. Нередко они прибегают к использованию технологий дата-центров. Один ярких тому примеров — предприятия сферы ЖКХ. Многие из них сегодня стараются автоматизировать свою деятельность, интегрируя новейшие решения. Так, «Левобережный водоканал» Санкт-Петербурга несколько лет назад начал внедрять на своих объектах Автоматизированную систему управлением технологическими процессами «Нева» на базе технологии Plant Information System с дата-центром на острове Белый. По сути, это один из крупнейших перманентно развивающихся проектов в области отечественного ЖКХ. Но, несмотря на подобные успехи жилищно-коммунальной отрасли, приоритет по использованию ЦОД среди организаций государственного сектора пока остается за предприятиями, так или иначе связанными с энергетикой.

Текущий год стал богатым на подобные проекты. Компания Panduit переоснастила центр обработки информации Диспетчерского центра Ленинградского регионального диспетчерского управления энергосистемами Санкт-Петербурга, Ленинградской и Псковской областей. Наиболее интересным решением здесь оказалось создание двухъярусного ЦОД, что было вызвано нехваткой пространства. В начале лета было объявлено о вводе в эксплуатацию дата-центра Волжской ТГК. В создании этого вычислительного комплекса приняли участие компании OXS и «Открытые Технологии». Программно-аппаратный центр был собран на базе серверов IBM P-series. Продолжила список инсталляций консалтинговая группа «Борлас», заявившая в начале октября о модернизации инженерных систем ЦОДа ОАО «Челябэнергосбыт». В частности, «Борлас» установила ИБП APC, кондиционеры и шкафы для серверов, разработала архитектурно-строительные решения по модернизации помещения ЦОД и поставила дисковый массив ЕМС CLARiiON CX 500.

Электричества на всех не хватит

У тенденции к увеличению числа ЦОД существует и обратная сторона. Чем больше современных и мощных дата-центров, тем больше потребление электроэнергии, что провоцирует появление новых проблем, которые, казалось бы, идут вразрез с концепцией энергетической державы. Электроэнергии для надлежащего функционирования ЦОД уже банально не хватает.

О намечающемся кризисе недостатка энергии заявляют все участники рынка. В частности, как утверждает Руслан Заединов, за последние несколько лет масштабы и сложность ЦОД настолько выросли, что теперь они потребляют мегаватты электроэнергии, тогда как ранее мощность измерялась лишь сотнями кВт. И потребность в электрических мощностях будет только возрастать. При этом в крупных городах уже почти невозможно получить хотя бы 2 мВт. Пока выход из этой ситуации видится эксперту только в переносе ЦОД из мегаполисов в регионы, где на остановленных производствах и в наукоградах еще сохранились практические возможности для получения требуемых мегаватт. В связи с чем в «Кроке» считают, что очень скоро массовое строительство ЦОД в регионах станет реальностью.

Стремительно догоняя технически высокоразвитые страны по уровню информатизации, Россия сталкивается с уже известными за рубежом проблемами, где положение настолько критично, что затраты на энергосбережение составляют около 50% ИТ-бюджета. Но не за горами то время, когда и отечественным компаниям придется учитывать каждый потраченный Вт. И это притом, что ни пресловутая модернизация электросетей, которая практически не движется, ни растущие цены на электроэнергию не внушают никакого оптимизма.

Если же попытаться вникнуть в структуру расходов электроэнергии, то окажется, что их львиную долю «забирает» необходимость охлаждения ЦОД. Именно поэтому, например, в США давно используют системы пассивного охлаждения. У нас они пока большая редкость, хотя некоторые подобные проекты все же реализуются. Один из них недавно был осуществлен при создании дата-центра пивоваренной компании «Балтика». Микроклимат нового вычислительного комплекса здесь обеспечивает система, состоящая из двух чиллеров Stulz CyberCool Data-Chiller CSI-601А с четырьмя конденсаторами воздушного охлаждения KSV. Узлы «зимнего пуска» обеспечивают производительность ЦОД при расчетной температуре наружного воздуха от минус 40 до плюс 40 градусов по Цельсию. Использованы в системе и два пароувлажнителя Condair СР2 N4.

Стихийный ЦОД

Как уже было отмечено, систематически ЦОДы стали строиться в России только с конца 1990-х — начала 2000-х гг. При этом изначально процесс затронул только наиболее крупные компании. В остальных случаях происходила стихийная информатизации, отголоски которой заметны до сих пор. В результате, когда руководство, наконец, решается на консолидацию информационных ресурсов, обнаруживается то, что специалисты иронично называют «зоопарком»: набор разрозненных систем и приложений, иногда даже конфликтующих между собой. Означает ли это, что подобные информационные решения в целом, исключая крайние случаи, недееспособны? Большинство специалистов уверено, что от категорических заявлений здесь лучше воздержаться. Во многих случаях такая ситуация не мешает функционированию ИС. Все зависит от конкретных задач. Тем не менее, с ростом бизнеса и необходимостью улучшения сервиса сотрудники компаний сталкиваются с возрастающей неэффективностью системы. И поэтому рано или поздно приходится интегрировать разрозненные ресурсы. За последние несколько лет к подобным выводам пришли многие крупные компании.

С другой стороны, сегодня актуальна тенденция (зародившаяся, на самом деле, довольно давно) «наведения порядка» в уже существующих системах корпораций и «создания задела на будущее». Прежде всего, это спровоцировано изменениями в концепции современного ЦОД. Фирмы наращивают свои вычислительные мощности, но современная конкуренция требует гибкости. Поэтому популярными оказываются решения, способные быстро изменяться в связи с новыми потребностями. Специфика затрагивает все аспекты интегрируемых сетей и центров обработки данных: от кабеля до сервера.

Похожие работы по консолидации ресурсов были реализованы в «Аэрофлоте». Эта авиакомпания в 2004 году одной из первых в своей области внедрила  ЦОД, что позволило ей предложить клиентам новый уровень сервиса. Спецификой проекта стала возможность оперативно и без сложных манипуляций увеличить мощности путем добавления новых модулей. Примечательно, что дата-центр, собранный три года назад на серверах HP Blade и ProLiant и системах хранения StorageWorks ХР, обошелся компании в сумму, равную нескольким миллионам долларов. То есть за прошедшее время окончательная стоимость ЦОД не изменилась. Исполнением заказа занимались компании «Эквант» и R-Style.

Консолидация ресурсов затронула и финансовую сферу. Так, специалисты компании IBS в текущем году разработали технический проект ЦОД, а именно — подготовили техническое задание и проектную документацию. «Мы предложили такую архитектуру дата-центра, при которой вычислительные ресурсы и данные банка будут сосредоточены в одном месте», — комментирует директор отделения системной архитектуры департамента системных решений компании IBS Валентин Земский.

По словам специалиста, на момент начала проекта инфраструктура «Газпромбанка», где этот проект реализовывался, успешно решала текущие задачи бизнеса, в частности обеспечивала работу установленных в банке информационных систем. Однако планы по развитию бизнеса потребовали переосмыслить подходы к построению инфраструктуры, появилась необходимость обеспечить лучшую управляемость, гибкость, масштабируемость, готовность инфраструктуры и в будущем поддерживать развитие банка. Концепция ЦОД была выбрана «Газпромбанком» как соответствующая данным требованиям в наибольшей степени. Инициируя проект построения ЦОД, банк стремился создать определенный задел на будущее, обеспечить свои потенциальные потребности, в том числе и в плане работы новых высокопроизводительных банковских приложений. Сейчас проект завершен и в ЦОД действует пилотная зона, при эксплуатации которой специалисты интегратора и заказчика проверяют технические решения. По результатам тестирования планируется развернуть главный ЦОД.

Что касается внедрения комплексов исчисления данных в банковском секторе, то здесь стоит отметить нестандартную сложность и высокую стоимость большинства из этих проектов. Прежде всего, подобная ситуация обусловлена активным развитием банков сегодня и включением в их деятельность новых массовых услуг. Так, недавно инсталляторы из «ТехноСерв А/С» завершили консолидацию ресурсов в один центр в «Кредит Европа Банке» (бывшем «Финансбанке»). Необходимость создания нового ЦОД здесь была вызвана выходом банка на рынок потребительского кредитования и открытием новых филиалов в регионах. Из-за множества стоящих перед инсталляторами задач и специфики учреждения, этот проект растянулся на три года, став одним из самых долгосрочных.

Буква закона

Безусловно, характеристика современной ситуации не будет полной без упоминания того, что создание конкретно ЦОД практически никак не регламентируется российскими стандартами. Существуют строительные нормы, нормы, предъявляемые к архитектурным параметрам зданий, регламентируются стандарты создания информационных систем, действуют требования пожарной безопасности, но аспекты реализации именно ЦОД нигде не прописаны, хотя необходимость нормативов по дата-центрам — вопрос для интеграторов весьма актуальный. По их мнению, подобный документ должен отражать требования к ЦОД как к структуре, обеспечивающей необходимый уровень сервиса. Сюда, в частности, должна быть включена информация о решениях для обеспечения должного уровня катастрофоустойчивости и управляемости, должны регламентироваться последовательность создания ЦОД и входные данные. Помимо этого, должен быть приведен список необходимой документации.

Пока таких стандартов в России нет. Интеграторы находят выход в использовании зарубежных нормативов, таких, как уже упоминавшийся американский стандарт EIA/TIA-942 или европейский EN 50173-5. Стандарт, принятый в США, чрезвычайно прозрачен и конкретен. Здесь прописаны как раз те аспекты цодостроительства, которых не хватает отечественной документации. Популярность EIA/TIA-942 настолько высока, что уже сами клиенты зачастую требуют от исполнителей предоставить технический проект с учетом американского регламента.

Помимо утвержденного норматива, имеются и вспомогательные данные, на которые ориентируются интеграторы при построении центров обработки информации. Они предоставляются исследовательской организацией The Uptime Institute. Наличие этих документов является выходом для компаний, строящих дата-центры. Но, по мнению большинства интеграторов, пока нет ГОСТа, лучший контролер — опыт.

Равнение на сети

Существуют и другие тенденции в развитии технологии ЦОД в России, мимо которых просто невозможно пройти мимо. Рынок системной интеграции эволюционирует в сторону создания сразу сетей дата-центров. В 2006 году ГК «Стек» громко анонсировала создание первой в стране независимой сети ЦОД Stack Data Network общей площадью 3 тыс. кв.м. Всего было объявлено о трех центрах, два из которых были размещены в разных концах Москвы и один в Подмосковье (в наукограде Пущино). Сегодня компания постепенно наращивает мощности различных объектов, и теперь площадь всех ЦОД составляет около 4 тыс. кв.м. Не успели директора «Стек» вдоволь насладиться своим «пионерством» в создании сетей интегрированных вычислительных центров, как другие компании поспешили перехватить инициативу. В сентябре 2007 года Национальный оператор связи «Синтерра» также начал реализовывать программу по созданию сети ЦОД. Скорее всего, это пока самый масштабный сетевой проект, в ходе которого планируется построить 40 площадок. Сроком окончания назван 2009 год. Предполагается, что мощности будут сдаваться в долгосрочную аренду. Инвестиции в проект составят от $30 до 120 млн.

Чуть позже, в октябре текущего года, о начале реализации программы строительства в России сети из восьми центров обработки данных заявила Integrated Services Group (ISG). Завершить ее создание планируется к 2010 году. До конца 2008 года, по утверждениям представителей компании, новые ЦОДы появятся в Дубне и Санкт-Петербурге. Пока осуществлен только один пилотный проект (в столице). Итоговая сумма денежных вливаний оценивается примерно в 1 млрд рублей.

Подобная тенденция по созданию сетей дата-центров, скорее всего, означает нацеленность интеграторов на привлечение к использованию технологии интегрированных вычислительных мощностей как можно большего количества компаний. И не только крупных и богатых, но и представителей среднего, и, возможно, даже малого бизнеса. Факты говорят сами за себя: в сегменте создания дата-центров интеграторы могут чувствовать себя уверенно. Тем более что по оценкам IDC, рынку ЦОД в России присущи весьма высокие темпа роста — до 30% в год.