[an error occurred while processing this directive]
RadiusVip.ru

Источники бесперебойного питания (UPS/ИБП):
AEG Power Solutions, Eaton (Powerware), Liebert (Vertiv), Riello
Системы прецизионного кондиционироввания воздуха:
RC Group, Munters, Montair, Clint

RadiusVip.Ru

101000, Москва, Колпачный переулок, д. 6 стр. 2

Тел.: (495) 6-410-410

E-mail: welcome@rvip.ru

Написать письмо
>>>
[an error occurred while processing this directive]

Главная страница  |  Центры обработки данных  |  Проектирование ЦОД

Проектирование ЦОД

Вернуться в раздел «Энциклопедия ЦОД


На основании результатов проведенной экспертизы наши специалисты подготовят проект построения ЦОД. Будет произведен расчет производительности систем, спроектирована инфраструктура, выбраны наиболее эффективные технологии и решения.

Заказчик получает:

  • полный комплект проектной документации
  • поэтапный рабочий план построения ЦОД.

Стандарты и регламенты проектирования ЦОД

См. также Нормы, стандарты и классификация ЦОД

Зачем нужны стандарты проектирования ЦОД

Все большую важность приобретает выработка единого подхода к организации ЦОД. Стандартизация должна способствовать консолидации инфраструктуры, уменьшению ее сложности, повышению управляемости, соответствию требованиям бизнес-процессов и сокращению затрат. Стандарты обобщают опыт, накопленный в ходе построения и эксплуатации различных центров данных и серверных помещений, стимулируют системный подход к реализации инфраструктуры, приводя тем самым к предсказуемой тиражируемости и масштабируемости решений, помогают унифицировать реализацию взаимосвязанных инфраструктурных систем и упростить внесение изменений.

Стандартизация рассматривается как один из принципов системного подхода к построению инфраструктуры, обеспечивающий масштабируемость решений и сокращение капитальных расходов. Она помогает унифицировать реализацию взаимосвязанных инфраструктурных систем ЦОД.

Стандарты определяют, какие факторы следует учитывать при планировании и подготовке монтажа ЦОД (или другой серверной инфраструктуры), включая архитектурный проект, электроснабжение, заземление, различные инженерные коммуникации. Стандарты ЦОД специфицируют более десятка взаимосвязанных подсистем, что позволяет выработать единый подход к реализации инженерной инфраструктуры и снизить число возможных ошибок.

Какие организации разрабатывают стандарты для ЦОД

За рубежом есть организации, объединяющие специалистов по построению и эксплуатации центров данных. Например, Institute for Data Center Professionals (IDCP) разрабатывает стандарты на инфраструктуру ЦОД и накапливает обширную статистику. В России действующих ЦОД еще слишком мало, чтобы делать обобщения, но можно использовать зарубежные опыт и модели расчетов, например Uptime Institute. Проходящие в нашей стране конференции позволяют знакомиться с достижениями в этой области, с вариантами реализации ЦОД, в которых учитывается специфика деятельности предприятия и решаемых задач.


Какие стандарты используются в проектировании ЦОД

В настоящее время проектировщики руководствуются американским стандартом EIA/TIA-942 («Стандарт на телекоммуникационную инфраструктуру центров обработки данных»). Близок к завершению его европейский аналог EN 50173−5, на основе которого формируется и российский ГОСТ.


Стандарт TIA — скачать


Американский стандарт ANSI TIA/EIA-942 (TIA-942) «Telecommunications Infrastructure Standard for Data Center» был утвержден в апреле 2005 г. Пока это единственный комплексный стандарт, где освещается широкий круг вопросов, связанных с организацией ЦОД. Он предлагает последовательный подход к решению задач по созданию ЦОД. Комплексных европейских и международных аналогов не существует, однако, как предполагается, ISO возьмет его за основу при разработке соответствующего международного стандарта. Для ряда американских стандартов, входящих в ANSI/EIA/TIA-942, имеются международные аналоги. Так, например, аналогами ANSI/TIA/EIA-568 (Commercial BuildingTelecommunications Cabling Standard, Implementationof Telecommunications Enclosures, Additional Cabling Guidelines for DTE Power) являются ISO 11801и европейские EN 50173, EN 50174 (Comite Europeen de Normalisation Electrotehnique, CENELEC). Стандарт обобщает многолетний опыт создания ЦОД. Следование его рекомендациям позволяет максимально приблизиться к уровню надежности с заветными пятью девятками — 99,999%. Ряд требований следует принять в качестве постулата. Специалисты руководствуются также европейским стандартом CENELEC/EN 50173−5.200Х, принятие которого ожидается в этом году. Стандарт TIA-942 описывает общую структуру, основные элементы и топологию ЦОД и охватывает все разнообразие подсистем ЦОД, включая систему электроснабжения. К сожалению, до сих пор не существует единого российского ГОСТа, где были бы определены требования к ЦОД.


Стандарты базовой топологии ЦОД

Параметр / Класс ЦОД (уровень) 1
Низкая отказоустойчивость
2 3 4
Высокая
отказоустойчивость
Тип здания C соседями Отдельно стоящее
Количество энерговводов 1 Один активный,
второй резервный
Два активных
Первоначальная мощность из расчета Вт на фут2 / Вт на м2 20 — 30 / 215 — 323 40 — 50 /
430 — 537
40 — 60 / 430 — 645 50 — 80 / 537 — 860
Максимальная мощность Вт на фут2 / Вт на м2 20 — 30 / 215 — 323 40 — 50 /
430 — 537
100 — 150 /
1075 — 1615
150+ / 1615+
Бесперебойное кондиционирование Нет Возможно Есть
Высота фальшпола в дюймах / метрах 12» / 0.3 18" / 0.45 30" — 36" / 0.75 — 0.9 30" — 36" / 0.75 — 0.9
Нормативная нагрузка на фальшпол, фунты на фут2 / кг на м2 85 / 415 100 / 488 100 — 150 / 732 150+ / 732+
(по страндарту 2005г 1000+)
Общая длительность отказов за год 28,8 ч 22 ч 1,6 ч 0,4 ч
Доступность ЦОД 99,671 % 99,749 % 99,982 % 99,995 %
Срок ввода в эксплуатацию (мес.) 3 3 — 6 15 — 20
Типовой проект впервые реализован в 1965 г. 1970 г. 1985 г. 1995 г.
Стоимость строительства (+ — 30%)
Площадь фальшпола*
Мощность ИБП
$ 4844 / м2
$ 10 000 / кВт
$ 6450 / м2
$ 11 000 / кВт
$ 9700 / м2
$ 20 000 / кВт
$ 11 800 / м2
$ 22 000 / кВт

* Примечание: указанная стоимость за м2 характерезует инвестиции во все системы жизнеобечения ЦОД, гарантирующие требуемые значения доступности.

Источник: ABR Consulting Group


Требования по надежности и безопасности должны формироваться еще на этапе выбора помещения под ЦОД или планирования его строительства.


Стандарты энергоснабжения ЦОД

На практике при расчете системы энергоснабжения подобных объектов проектировщики руководствуются действующим на территории РФ регламентирующим актом «Правила устройства электроустановок (ПУЭ)». Этот документ выделяет категории надежности электроснабжения (объекты I, II категории и объекты особой группы первой категории) и дает общие рекомендации по обеспечению каждого из уровней.

Стандарт TIA-942 определяет четыре уровня бесперебойной работы ЦОД. Первый уровень составляет 99,67 %, что соответствует запланированному времени простоя не более 28,8 часов в год. Уровень надежности ЦОД IV класса составляет 99,995 %, что означает суммарный перерыв в работе не более 15 минут в год. В отличие от первого уровня четвертый предполагает полное резервирование. На практике даже при значительном улучшении дизайна компьютерного оборудования ЦОД, построенные за последние пять лет и заявляющие функциональность IV уровня, в действительности часто соответствуют I, II и III уровню. Центры первого и второго класса могут занимать часть какого-либо помещения, а объекты III и IV класса размещаются в отдельных зданиях.

Требования к энергетической системе ЦОД IV уровня надежности также предусматривают полное резервирование. Такой центр должен быть оснащен как минимум двумя полностью независимыми электрическими системами, начиная от фидеров электропитания и входных магистралей от провайдеров услуг связи и заканчивая дублированием блоков питания серверных лезвий. Основные положения стандарта TIA 942 в части, касающейся энергоснабжения ЦОД:

  • помещение для ввода кабелей (Entrance Room) в базовой топологии оно одно, но может быть и несколько
  • главный распределительный пункт (Main Distribution Area, MDA), где расположен центральный кросс кабельной системы ЦОД, маршрутизаторы, коммутаторы локальной сети и сети хранения данных. Там же могут размещаться и кроссы, предназначенные для коммутации горизонтальных кабелей. Для целей резервирования в ЦОД может быть организовано два и более MDA   
  • пункт распределения горизонтальной подсистемы общей кабельной системы ЦОД (Horizontal Distribution Area, HAD)   
  • распределительный пункт зоны (Zone Distribution Area, ZDA), наличие которого расширяет возможности по реконфигурации системы
  • область размещения компьютерного оборудования (Equipment Distribution Area, EDA).
Стандарты структуры СКС ЦОД

В стандарте подробно описывается структура кабельной системы ЦОД, начиная с магистральных каналов и заканчивая розетками, устанавливаемыми в EDA. Ограничения накладываются на типы используемых кабелей и их длину. Кроме того, он охватывает целый круг вопросов, связанных с организацией центра обработки, таких, как электроснабжение и безопасность (последняя включает множество направлений).

Стандарты строительства ЦОД

Российский документ СН-512−78 (строительные нормы) «Инструкция по проектированию зданий и помещений для электронно¬вычислительных машин», последняя редакция, февраль 2000г. интересен с точки зрения общего подхода, а также ссылок на действующие СН и СниП. При проектировании нор¬мируемые параметры можно уточнить, обратившись к действующим ГОСТам, МГСН, НБП, РД и другим документам отечественной нормативной базы.

Стандарты защиты информации ЦОД

Важнейшеий европейский стандарт по (физической) защите информации — EN 1047−2 «Защищенные хранилища. Классификация и методы тестирования. Комнаты и контейнеры для хранения баз данных». Этот стандарт определяет классы защиты от высокой температуры и влажности, а также нормируется период остывания после нагрева.


Стандарты и требования к помещению ЦОД

К ЦОД предъявляются также требования по предупреждению проникновения дыма или газа (DIN 18095) и просачивания воды (DIN EN 60529−2000), защиты от взлома (DIN V 18103), а также по экранирова¬нию от электромагнитного излучения (EN 50147) и ряд других. Именно они оказывают определяющее влияние на конструктивные особенности поме¬щений ЦОД.


См. Требования к помещению ЦОД


В начало страницы


Архитектурно-инженерное проектирование ЦОД

На нынешний день сформирован вполне определенный перечень наиболее актуальных задач, стоящих перед проектировщиками ЦОД. Например, аналитики TechTarget выделяют такие из них, как защита данных, сокращение расходов, обеспечение производительности систем и их оптимизация, резервное копирование и восстановление, рост объемов электронной почты, обоснование затрат на инфраструктуру, соответствие требованиям подразделений, модернизация платформ, рост объемов хранимой информации и сложность управления системами. Небезынтересны в этом разрезе результаты прошлогоднего опроса CMP среди специалистов по эксплуатации ЦОД: наибольшее внимание уделялось таким вопросам, как актуальность обеспечения непрерывности бизнес-процессов и масштабируемость, не менее важными задачами остаются электропитание и охлаждение.


В начало страницы


Критерии выбора ПО и оборудования для ЦОД


В начало страницы


Что выбрать: преодоление лоскутной автоматизации или симбиоз вендоров


В начало страницы


Подбор оборудования для ЦОД

Устаревшие технологии ИБП обходятся дорого

Надежное энергоснабжение в центрах обработки данных (ЦОД), как правило, обеспечивается с помощью источников бесперебойного питания (ИБП). Для поддержки критически важных приложений чаще всего используются ИБП с двойным преобразованием по стандарту IEC 620403, класс 1. За последние годы в этой области произошли значительные технические изменения, поэтому, прежде чем приступать к замене батарей, владельцу ЦОД следует подумать, не выгоднее ли вложить средства в новую систему ИБП с более высоким КПД, вместо того чтобы приобретать новые аккумуляторы для устаревшего ИБП.

Детальное ознакомление с предлагаемыми производителями ИБП очень полезно, поскольку приобретение новой системы может обойтись дешевле, чем эксплуатация уже устаревшего оборудования. Решающим доводом становится общая стоимость владения (Total Cost of Ownership, TCO). Как правило, новое устройство ИБП благодаря своему более высокому КПД не только быстро окупает затраты на его приобретение, но и экономит энергию, а значит, деньги.

При выборе подходящих решений владельцу ЦОД следует принять во внимание следующие критерии:

  • какая система в большей степени соответствует требованиям пользователя?

  • какие рыночные тенденции наиболее перспективны?

  • действительно ли приобретение нового ИБП оправдано с экономической и экологической точек зрения?

  • как обстоят дела с доступностью и безопасностью (уровни Tier 1−4)?

  • возможны ли гибкие расширения и модернизация системы в случае изменения предъявляемых к ней требований?

  • какие затраты следует ожидать на протяжении всего жизненного цикла системы ИБП?

ОБЗОР ТЕХНОЛОГИЙ ИБП

Представленные на рынке системы ИБП имеют самые разнообразные функции и варианты исполнения. В настоящее время применяются три основных типа: резервные (Offline или Standby), линейно-интерактивные (Line-interactive) и активные (Online) системы. Резервные системы, согласно предписаниям IEC 620403, класс 3, получили новое название: системы с зависимостью от напряжения и частоты (Voltage and Frequency Dependent, VFD); они защищают оборудование лишь при исчезновении напряжения, падении напряжения, а также повышении напряжения, поэтому не пригодны для использования в ЦОД, серверных помещениях и не применяются в технологиях автоматизации.

ИБП интерактивного типа — в соответствии с классификацией IEC 620403, класс 2, это системы с независимостью от напряжения (Voltage Independent, VI) — помимо прочего, защищают от коротких замыканий во внешней электросети и от линейных шумов. Этот тип ИБП применяется, прежде всего, в тех сферах, где выравнивание напряжения не имеет критического значения для эксплуатации систем. ИБП классов 2 и 3 схожи в том, что переход на работу от батарей происходит только в случае исчезновения напряжения в электросети. Их владельцам нужно принимать во внимание время, необходимое на переключение, так как для критически важных приложений оно может оказаться слишком большим.

Системы с независимостью от частоты и напряжения (Voltage and Frequency Independent, VFI) класса 1 по стандарту IEC 620403 соответствуют активным системам с двойным преобразованием и обеспечивают наивысший уровень защиты. Как генераторы электричества, они непрерывно вырабатывают собственное сетевое напряжение, поэтому подключенные устройства постоянно и без ограничений снабжаются сетевым напряжением, форма которого соответствует правильной синусоиде. В отличие от решений класса 2, они защищают оборудование от высоких пиков напряжения, отклонений частоты, пиков включения и верхних гармоник и, тем самым, поддерживают работу основных критически важных для предприятия приложений.

Современные ИБП с двойным преобразованием работают без трансформаторов, а некоторые оснащены выпрямителями на биполярных транзисторах с изолированным затвором (Insulated Gate Bipolar Transistor, IGBT). В результате они не только обеспечивают больший КПД (по сравнению с ранее выпускавшимися устройствами), но на их изготовление требуется меньше железа и меди.

К примеру, если нужно защитить модульные серверы (Blade Server), создающие большую емкостную нагрузку, то традиционные системы работают с очень низким КПД, составляющим около 89%, поскольку используют трансформаторную технологию, рассчитанную на индуктивные нагрузки. На бестрансформаторные ИБП это практически никак не влияет, и при такой нагрузке их КПД достигает 90−95%. Таким образом, даже при использовании в ЦОД модульных серверов, мощность ИБП может быть снижена.

ПАРАЛЛЕЛЬНОЕ ПОДКЛЮЧЕНИЕ ПРОТИВ МОДУЛЬНОГО ПОДХОДА

Для определения экономической эффективности ИБП важно учитывать не только стоимость приобретения, но затраты, возникающие в случае потенциального сбоя, а также эксплуатационные расходы, рассчитываемые за весь период использования системы. В избыточных системах с немодульной архитектурой для обеспечения требуемой защиты от сбоев применяются два идентичных устройства. В случае отказа одного, второе сможет полностью обеспечить необходимую мощность. Однако такой подход имеет ряд недостатков. В частности, обе системы постоянно включены, даже если условия позволяют обходиться лишь одной из них. К тому же они функционируют в режиме частичной нагрузки с крайне низким КПД, а поскольку модернизировать такие системы сложно, они, как правило, планируются с чрезмерным запасом мощности.

В случае модульных систем со вставными элементами ИБП формата 19”избыточность обеспечивается по формуле N+1. Это означает, что при сбое одного модуля остальные способны взять на себя всю нагрузку. Так, мощность 120 кВА будут обеспечивать не две установки по 120 кВА каждая, а четыре модуля по 40 кВА. При такой концепции все модули работают с оптимальной загрузкой и очень высоким КПД, так что добавочная нагрузка в энергетическом балансе будет гораздо меньше. Таблица 1 показывает, какие экономические и финансовые выгоды приносят повышение КПД всего лишь на несколько процентов. Одновременно с этим, такая концепция положительно влияет на доступность систем: при этом важно учитывать не только среднее значение наработки на отказ (Mean Time Between Failure, MTBF), но и среднюю продолжительность ремонтных работ (Mean Time To Repair, MTTR).

Сравниваемые системы ИБП Модульная Newave DPA Параллельная система
Состав 4 * 40 кВА 2 * 120 кВА
Активная мощность потребителя (кВт) 80 80
КПД ИБП (при частичной нагрузке) 94% 90%
Входная мощность 85,1 88,9
Теряемая мощность ИБП (кВт) 5,1 8,9
Ежегодная мощность потерь ИБП (кВт х ч) 44732 77867
Тарифы на электроэнергию (еро за кВт х ч) 0,13 0,13
Дополнительные расходы из-за теряемой мощности за год (без учета охлаждения) (евро) 5815,15 10122,67
кВт х ч в год с охлаждением 1,35 60,388 105120
Теряемая мощность вследствие охлаждения (евро) 0,35 2035,30 3542,93
Дополнительные расходы за год с учетом охлаждения (евро) 7850,45 13665,60
За 5 лет 39252,26 евро 68328,00 евро
За 10 лет 78504,51 евро 136656 евро
Разница за 10 лет 58151,49 евро
Выброс в CO2 за год 0,6 36233 кг 63072 кг
Разница в CO2 за год
(примерно соответствует 115 тыс.км пробега легкового автомобиля гольф-класса)
26839 кг

Таблица 1. Сравнение параллельных и модульных систем ИБП по экономическим и экологическим характеристикам.


При избыточности по принципу N+1 значение MTBF неизбежно снижается, поскольку, когда применяются несколько модулей, повышается вероятность сбоев, однако у некоторых производителей в случае возникновения неполадок или повышения нагрузки модули можно менять без прерывания работы системы, что приводит к заметному снижению значения MTTR по сравнению с традиционными системами и существенному повышению общей доступности и безопасности системы. Кроме того, поскольку такая замена выполняется легко (по крайней мере, у систем Newave, см. Рисунок 1), пользователь в состоянии справиться с ней самостоятельно. Поврежденный компонент можно отдать в ремонт, а затем снова установить, не прерывая эксплуатацию системы.

Покупать модульные ИБП с расчетом на максимальную ожидаемую нагрузку не обязательно: по мере повышения требований к производительности их можно наращивать дополнительными модулями (в соответствии с принципом «оплата по мере роста» — pay as you grow).

ДОПОЛНИТЕЛЬНЫЕ ФУНКЦИИ

Новые технологии ИБП обладают еще несколькими практичными функциями: для осуществления обслуживания систем по мере необходимости, а не в соответствии с жестко фиксированными графиками техобслуживания, многие производители предлагают инструменты для контроля состояния своих ИБП: в случае возникновения неполадок они отправляют уведомления по локальной сети, через Internet или в виде SMS на мобильный телефон (см. Рисунок). Помимо этого, оптимизированные технологии зарядки препятствуют полной разрядке или избыточной зарядке батарей, благодаря чему срок их службы повышается на 30% и более.

Рисунок. Удаленное обслуживание сокращает затраты времени и экономят финансы


В настоящее время, когда защита окружающей среды и эффективность приобретают все большее значение, замена устаревшей системы ИБП может быть вполне оправдана. А при выборе решения на основе модульных систем новое приобретение окупится особенно быстро.

Петер Джиллих — руководитель компании Newave USV Systeme GmbH.

Источник: Журнал сетевых решений / LAN



На основе экспертизы потребностей в электропитании осуществляется подбор соответствующих компонентов инфраструктуры. После такой оценки можно будет приступать к детальному планированию.


На этапе подбора оборудования важно помнить о том, что от оборудования во многом будут зависеть издержки, связанные с энергопотреблением.

Подбор серверного оборудования

Масштабы ИТ-инфраструктуры зависят от поставленных задач, ибо у всех крупных производителей вычислительной техники сегодня есть системы, позволяющие удовлетворить любые требования — от очень скромных до самых серьезных. Поэтому если есть необходимость выбрать серверную подсистему или подсистему хранения данных для работы конкретных бизнес-приложений, при проектировании центра обработки данных выполняется «сайзинг» оборудования, то есть выбор параметров платформы, определяемый поставленными задачами. У всех разработчиков бизнес-приложений (SAP, Oracle и др.) существуют опросные листы, на основании которых производители аппаратуры (IBM, HP, Sun Microsystems и др.) проводят «сайзинг».


Компания Emerson Network Power рекомендует учитывать при выборе оборудования так называемый «каскадный эффект» снижения энергопотребления, который обеспечивается за счет правильного выбора оборудования.


См. также: Тенденции в серверных технологиях


Подбор электропитающего оборудования

Подбор электропитающего оборудования для ЦОД требует особого подхода к вопросам резервирования элекропитания. Для резервирования электропитания обычно применяется принцип «N+1», когда для электропитающей установки постоянного тока (ЭПУ) на N рабочих выпрямителей приходится один резервный. При большом количестве выпрямителей малой мощности число резервных выпрямителей может быть увеличено: главное, чтобы при выходе из строя одного выпрямителя обеспечивалось полноценное функционирование установки питания, т. е. питание нагрузки во всех режимах, заряд аккумуляторной батареи после пропадания и восстановления внешнего электроснабжения, исключение необходимости немедленного выезда ремонтного персонала. В качестве резервного источника постоянного тока используются свинцово-кислотные аккумуляторные батареи (АБ), а чаще – герметизированные (VRLA) аккумуляторные батареи. В зависимости от категории надежности объекта для обеспечения бесперебойности электроснабжения его питание может быть организовано от независимых взаимно резервирующих источников электропитания от электрических сетей энергосистемы с применением устройств автоматического ввода резерва. В качестве одного из независимых источников могут использоваться автоматизированные дизель-электрические станции (АДЭС).


С началом использования в телекоме ИБП переменного тока (UPS) картина несколько изменилась: индивидуальные маленькие UPS ничем не резервировались, а для больших установок применялся дорогой принцип резервирования «1+1». В дальнейшем изготовители оборудования ИБП стали предлагать модульные системы, позволяющие блочное наращивание. Это позволяет оперативно наращивать или уменьшать мощность ИБП в зависимости от требований нагрузки. Но надежность при этом не повышается. А требования к надежности систем питания неуклонно растут. Сегодня коэффициент готовности ТфОП оценивается величиной «пять девяток» (0,99999), что соответствует 5,5 минуты простоя в год. Надежность системы питания при этом должна быть в несколько раз выше. По некоторым оценкам, к 2010 г. не менее 25% критичных нагрузок потребуют надежности питания «семь девяток»! ЦОД можно отнести, наверное, к нагрузкам, несомненно, попадающим в упомянутые 25%. Для повышения надежности параллельно основному ЦОД часто строится резервный (РЦОД).

Подбор охлаждающего оборудования

В Uptime Institute определяют три класса систем бесперебойного охлаждения, выбор которых зависит от нагруженности стоек и объема воздуха в машинном зале в расчете на стойку:

  • класс A (вентиляторы кондиционеров и циркуляционные водяные насосы питаются от ИБП, между чиллером и кондиционером имеется гидроаккумулятор в водяной петле),
  • класс B (вентиляторы кондиционеров работают за счет ИБП)
  • класс C (традиционное электроснабжение системы охлаждения: только от гарантированного электропитания с перерывом на время запуска ДГУ и повторного включения системы охлаждения).

См. также: Адаптивная архитектура охлаждения Emerson Network Power



В начало страницы


Проектирование СКС

Базовая топология ЦОД


В соответствии с TIA/EIA-942 структура ЦОД состоит из трех основных подсистем:

  1. MDA/ Main Distribution Area — главная распределительная подсистема, обеспечивает интерфейс доступа в ЦОД и распределяет трафик главной магистрали по внутренним магистралям. Она включает оконечное оборудование операторов связи, маршрутизаторы, магистральные коммутаторы и т.п. Здесь МС — главный распределительный узел, HC — коммутационный узел, распределяющий магистральный трафик по локальным линиям;
  2. HDA/ Horizontal Distribution Area — горизонтальная распределительная подсистема, направляет трафики внутренних магистралей по локальным линиям (длиной не более 100 м), выходящим в аппаратные зоны (стойки). Помимо пассивного оборудования в ней используются коммутаторы ЛВС, КВМ-коммутаторы и т.п.;
  3. EDA/ Equipment Distribution Area — подсистема разводки по оборудованию, доставляющая трафик в рабочие области к серверам, дисковым массивам и т.п. Для обслуживания областей, где требуются частые переконфигурации могут использоваться зоновые сегменты с узлами консолидации (ZDA).

Правила выбора кабеля

Строгие правила выбора кабеля для перечисленных подсистем отсутствуют. Типы кабеля определяются в каждом конкретном случае на основе анализа текущих и перспективных задач, решаемых ЦОД. Общей рекомендацией является выбор для магистралей (внутри подсистемы MDA и соединяющие ее с HDA) кабелей с максимальной широкополосностью, т.е. волоконно-оптических типа OM3 или экранированных кабелей Категории 6, поддерживающих 10Gigabit−приложения. Важно, что кабельная проводка между подсистемами HDA и EDA — в наибольшей степени зависит от используемых приложений, к тому же она подвержена частым изменениям. От нее, наряду с высокой плотностью, требуется гибкость и простота монтажа. Поэтому здесь особенно эффективны системы, устанавливаемые быстро и без последующего тестирования. Такими являются волоконно-оптическая кабельная система MPO и система MRJ-21 на основе витой пары.


Тенденции в построении сетей ЦОД

Сети влияют на самые разные ресурсы ЦОД, позволяя приложениям подключаться к тем или иным пулам вычислительных ресурсов. Из-за этого требования к сетям будут значительно возрастать, а сроки регламентных работ, очевидно, будут сокращаться или вовсе сходить на нет: сеть должна быть постоянно доступной, чтобы предоставлять необходимые ресурсы в динамическом режиме в любом месте и в любое время. Переход к сервисно-ориентированной архитектуре (SOA) также во многом зависит от сети, поскольку сеть — наиболее оптимальный уровень для доставки ресурсов SOA. И наконец, сеть станет инструментом поддержки правил высокого уровня (политик), обеспечивающих максимальную эффективность использования ресурсов центра обработки данных.

Будущие виртуализированные ЦОД будут состоять из ресурсных пулов, соединенных между собою с помощью сетей. Таким образом, сеть станет основой центра обработки данных и будет выполнять в этом центре множество важных функций. Она будет работать с разными приложениями вплоть до того, что сможет определять, какие именно ресурсы выделить тому или иному приложению. Именно на уровне сети будут реализованы многие функции сервисно-ориентированной архитектуры. Сеть будет автоматически выделять ресурсы туда, где они нужны в данный момент.


См. также: Технологии виртуализации


В начало страницы


Проектирование вспомогательной инфраструктуры

Некоторые требования, предъявляемые к инженерной инфраструктуре ЦОД:

  • обеспечение полной физической безопасности оборудования с размещенной на нем информацией (защита от пожара, воды и противопожарной жидкости, электромагнитного излучения, несанкционированного доступа, вандализма, пыли, дыма, падающих обломков)
  • круглосуточное круглогодичное обеспечение работоспособности оборудования
  • проведение сервисных работ без отключения оборудования
  • соблюдение требуемых для функционирования оборудования климатических условий;
  • разделение зон ответственности в зависимости от задач доступа персонала к различным устройствам
  • возможная масштабируемость/переносимость решения в целях наращивания / резервирования.

Проектирование электрической системы

В помещении, где устанавливается компьютерное оборудование, необходимо предусмотреть отдельные цепи питания с собственными электрическими панелями. В зависимости от устанавливаемых устройств и требований ЦОД, системы могут иметь несколько вариантов энергоснабжения, во избежание перерывов в котором следует предусмотреть автоматическое переключение потребителей на резервную магистраль или дизель-генераторную установку. Источники бесперебойного питания должны резервироваться и поддерживать внешний режим «байпас».

Сетевые розетки (220 В, 20 А) должны быть дуплексными для подключения инструмента с электрическим приводом, техники для уборки и другого оборудования, включать которое в розетки шкафов категорически запрещается. На такие розетки следует нанести специальную маркировку. Контур их подключения нельзя соединять напрямую с электрическим контуром, используемым телекоммуникационным и компьютерным оборудованием. Сетевые розетки располагают на стенах на расстоянии 3,65 м друг от друга или ближе, если иное не определено предписаниями местных органов, а кроме того, не далее 4,5 м от оборудования. Напряжение на розеточные коробки должно подаваться с резервного генератора помещения, если он установлен. При отсутствии специального резервного генератора розеточные коробки подключают к резервному генератору здания, если таковой имеется.



Проектирование систем регулирования климата

Помещение для компьютерного оборудования должно быть защищено от загрязняющих веществ, присутствие которых может оказать отрицательное влияние на его функционирование и целостность материала, из которого оно изготовлено. Если загрязняющие вещества присутствуют в концентрациях, превышающих указанные в Таблице 1, необходимы организация паронепроницаемой кладки, поддержание положительного избыточного давления в помещении или установка абсолютных фильтров.

Система вентиляции и кондиционирования должна работать в режиме 24х7х365. Если она не способна обеспечить непрерывной работы в случаях, когда задействовано большое количество оборудования, требуется установка автономной системы. Работа обеих должна поддерживаться резервным генератором, если в этом помещении он установлен. При его отсутствии следует предусмотреть возможность подключения к ресурсам резервного генератора здания.

Величину рабочей температуры и влажности нужно контролировать и поддерживать в заданном диапазоне:

  • температура сухого термометра 20−25 °C;
  • относительная влажность 40−55 %;
  • максимальная температура конденсации 21 °C;
  • максимальная скорость изменения 5 °C в час.

В зависимости от местных условий может потребоваться оборудование для создания дополнительной влажности или для осушки воздуха.

Температуру и влажность окружающего воздуха следует измерить после того, как оборудование будет введено в эксплуатацию. Измерения рекомендуется выполнять на высоте 1,5 м над уровнем пола через каждые 3−6 м вдоль центральной линии «холодных» проходов и во всех точках поступления воздуха в работающее оборудование. Измерения температуры лучше проводить в нескольких точках поступления воздуха в устройство, для которого вероятность возникновения проблем с охлаждением является высокой.

Перепад давления по отношению к окружающим областям должен быть положительным.

Если для резервного питания используются батареи, необходимо позаботиться о соответствующей вентиляции и локализации аварийных проливов. Требования можно уточнить в электротехнических правилах и нормах.


Проектирование систем пожаротушения

Все распылительные системы должны срабатывать по сигналу датчика, реагирующего на дым и температуру. Основные помещения ЦОД нуждаются в установке приборов газового пожаротушения (для некоторых видов систем они являются обязательными), тогда удастся избежать выхода из строя дорогостоящего оборудования.

Когда существует опасность проникновения воды, следует предусмотреть средства для ее удаления из помещения (например, сливное отверстие в полу) и обеспечить по меньшей мере один сток или другое средство удаления воды на каждые 100 мІ площади. Все водопроводные и канализационные трубы, проходящие через помещение, надо располагать в стороне от оборудования, а не над ним.



В начало страницы


Проектирование диспетчерского центра



В начало страницы


Проектирование защиты сети



В начало страницы


Проектирование системы хранения данных



В начало страницы


Проектирование систем доступа

Проектирование систем безопасности

Для охраны объекта от несанкционированного входа следует предусмотреть два периметра безопасности. На внутреннем необходимо дополнительно контролировать внос/вынос оборудования в обоих направлениях. Кроме того, у всех входов в здание рекомендуется установить камеры наблюдения с постоянной записью, а в самом помещении ЦОД организовать просмотр всего пространства, как по периметру, так и между рядами. Рынок предлагает самые разные автоматизированные системы контроля доступа.


В начало страницы


АНОНСЫ

[an error occurred while processing this directive]

+7 (495) 6-410-410

welcome@rvip.ru