http://habrahabr.ru/company/ua-hosting/blog/222669/

Все мы знаем, что вода и электроника — опасное сочетание, но так ли всегда? Способны ли современные технологии изменить это представление?



В этой статье мы рассмотрим возможность, преимущества и недостатки размещения серверов в жидкости и обсудим возможные проблемы эксплуатации. Покажем, как это все может выглядеть на практике и реально работать. А также обсудим вопрос, почему в серверах могут или не могут плавать рыбы :)

Долгое время потери энергии и затраты на охлаждение при эксплуатации серверов не давали покоя многим, в том числе и нам, так как количество используемых нашими абонентами серверов постоянно стремительно растет, мы все больше задумываемся о создании собственного центра обработки данных (ЦОДа) в обозримом будущем. И когда свыше половины энергии, потребляемой всем ЦОДом, расходуется на охлаждение воздухом, благодаря которому можно не более чем с коэффициентом эффективности 1.7 отвести выделяющееся тепло от оборудования, вольно не вольно задаешься вопросом, а как можно повысить эффективность охлаждения и минимизировать потери энергии?



Из курса физики известно, что воздух — крайне не эффективный проводник тепла, так как его теплопроводность в 25 раз ниже теплопроводности воды. Он скорее более пригоден для теплоизоляции, нежели для теплоотвода. А еще у него очень небольшая теплоемкость, а значит, что его постоянно нужно интенсивно перемешивать и поставлять большими объемами для охлаждения. Другое дело — вода и жидкости. Именно их используют в системах охлаждениях ЦОДов в виде теплообменника, чтобы повысить общий коэффициент эффективности, однако непосредственно с серверами жидкости не контактируют, только через воздушную прослойку и/или радиатор (для охлаждения чипсета к примеру), что позволяет повысить мехнический коэффициент эффективности системы охлаждения (mPUE) до 1.2 или даже до 1.15 при использовании внешней среды в целях охлаждения.



Но как охладить сервер наиболее эффективно? Выход только один — поместить его полностью в жидкость (разумеется диэлектирик), желательно с как можно большей теплопроводностью и теплоемкостью, которая не будет оказывать негативного влияния на компоненты сервера. И таким диэлектриком может быть минеральное масло. Идея, увы и к счастью, оказалась не нова — ее уже несколько лет разрабатывают и реализуют несколько компаний в различных вариациях и с различной эффективностью. Современные технологии позволяют построить «подводный» Дата Центр! Но какие преимущества и недостатки этого решения?

Преимущества и недостатки размещения серверов в жидкости

Охлаждение в жидкости уже сейчас экономит до 95 процентов электроэнергии, которая обычно используется для охлаждения в Дата Центрах и, как следствие, до 50% всей энергии, которую потребляет Дата Центр.



Система охлаждения в жидкости позволяет секономить до 60% средств при строительстве Дата Центра, так как нет необходимости в закупке дорогостоящих чиллеров, HVAC (heating ventilation air cooling) систем, строительстве холодных/горячих коридоров, применении фальшпола и т.п.



SSD-диски могут быть погружены в охлаждающую жидкость, разумеется сохранив при этом работоспособность :), без каких-либо модификаций, как в прочем и остальные стандартные компонены серверов, за исключением жестких дисков. Для жестких дисков потребуется использование дополнительных приспособлений, ведь они не будут способны эффективно вращаться в жидкости.



Так как охлаждающая жидкость является диэлектриком (не проводит электричество) — нет необходимости сушить серверы и осушать всю систему для проведения работ в шкафу или с конкретным сервером. Тем не менее эта жидкость должна быть не токсична, без запаха (с минимальным испарением) и не быть агрессивной по отношению к компонентам сервера, к примеру не растворять каучуковую изоляцию проводов и т.п. Подбор правильного и эффективного минерального масла — не простая задача. Для задачи охлаждения в жидкости подойдет далеко не каждое минеральное масло. И в зависимости от выбранного масла мы получим разную допустимую мощность оборудования в 42-юнитовом шкафу, тепло с которого система способна отвести.



Если же говорить об эффективности охлаждения в жидкости в целом, то система позволяет достичь PUE 1.03. Но как такое возможно, спросите Вы, если применение минерального масла для охлаждения позволяет сэкономить только 95% энерегии? За счет чего мы можем получить дополнительную эффективность в 2%?



Ответ тут прост, охлаждение в жидкости позволяет сэкономить энергию, которую потребляют серверы, за счет того, что в них более нет нужды ставить куллеры для охлаждения, а также за счет того, что уменьшается утечка токов с чипов, так как они надежно изоллированы и работают при постоянной температуре (изменение температуры способствует утечке токов). И как следствие мы экономим на системе охлаждения, так как она теперь может занимать меньший объем, ведь ей необходимо отводить уже меньше тепла. Это и дает выигрыш тех заветных 2 процентов на охлаждении, но мы получаем не только это. Сами серверы начинают расходовать энергии на 10-20 процентов меньше, нежели серверы с другим охлаждением. PUE всего Дата Центра растет.

Успехи различных компаний в области охлаждения серверов в жидкости

Минеральное масло способно эффективно защищать от коррозии и пыли, благодаря тому, что в отличии от воздуха не содержит в себе воды и кислорода, продлить срок эксплуатации оборудования. Оно не токсично и не имеет запаха, а значит практически не испаряется. Но оно бывает различной эффективности и подбор правильного минерального масла — настоящее искусство.



Различные компании давно занимаются этими вопросами вплотную и имеют различные успехи благодаря применению разных минеральных масел, создают собственные «ноу-хау». Примерно месяц назад Intel и SGI анонсировали «новость», что способны благодаря применению минерального масла и собственной разработанной системы охлаждения на его основе, которая предусматривает эксплуатацию серверов в жидкости, обеспечить отвод тепла со шкафа в несколько десятков киловатт и даже более. Но у них все еще есть проблемы, в особенности в их сообщении упоминается, что обычные оптические кабели в их минеральном масле работать скорее всего не смогут, по какой причине увы не указано, видимо масло аггресивно дня них. Решение далеко от коммерческой эксплуатации.



Другая же компания, GRC, уже давно использует намного более эффективное минеральное масло, предлагает готовое коммерческое решение и не имеет подобных проблем, давно не публикует это, как «новость», при этом по их словам они способны отвести тепла со шкафа до 100 кВатт и более, а значит значительно превзошли успехи Intel! Так что нужно более критично относится ко всей информации из новостей. Если одна компания заявляет о «ноу-хау», то это вовсе не значит, что другая уже не придумала лучше, некоторые просто могут находится в начале своего пути в новом для них направлении :) Как упоминалось выше, Intel еще очень далека от коммерческой эксплуатации этого решения, но без нее в конечном итоге решение любой компании не обойдется.

Перспективы

На сегодняшних материнских платах схемы выложены на «огромном» расстоянии друг от друга, чтоб максимизировать рассеивание тепла для использования в качестве охладителя воздуха, который является ужасно не эффективным охладителем. Благодаря охлаждению в жидкости можно начать производство серверов с более плотно упакованными схемами, которые учитывают работу в жидкости и свойство отвода тепла жидкостью, ведь жидкость имеет не только более высокую теплопроводность, чем воздух, а гораздо более высокую теплоемкость. Самые эффективные на сегодняшний день минеральные масла имеют теплоемкость, которая превосходит теплоемкость воздуха более, чем в 1200 раз!



Это все позволяет не только гораздо эффективнее отводить тепло, но и в случае остановки системы охлаждения получить гораздо больше времени на ее ремонт до перехода работы в критическое состояние из-за роста температуры, так как свойства жидкости (большая теплоемкость и плотность) позволяют поглотить гораздо больше тепла, при этом жидкость не становится перегретой сама, тем самым отодвигается порог «критического перегрева» во времени.

Очень большие перспективы открываются и для суперкомпьютеров, работающих в жидкости, экономия энергии и площадей при эксплуатации высокопроизводительного оборудования — колосальна.



Скорее всего в будущем не останется вычислительного и серверного оборудования, которое смогло бы работать без погружения в жидкость. Преимущества огромны, недостатков практически нет, разве что шкафы теперь нужно располагать не вертикально, а горизонтально, что несколько непривычно. Благодаря этому можно увеличить «плотность» оборудования в Дата Центре, а также обеспечить дополнительный уровень безопасности. Если вдруг Дата Центр будет затоплен водой в результате стихийного бедствия — вода не окажет влияния на серверы, так как они уже погружены в жидкость, пусть и с другой плотностью, но при этом надежно герметизированы в шкафах.

Охлаждение в жидкости в цифрах

Экономия свыше 60% средств при строительстве:

— нет необходимости в закупке дорогостоящих чиллеров, HVAC (heating ventilation air cooling) систем;
— нет необходимости в строительстве холодных/горячих коридоров, применении фальшпола;
— уменьшается количество генераторов, батарей систем бесперебойного питания (UPS) на N юнитов оборудования, за счет снижения потребления — -- энерегии этим оборудованием при работе в жидкости;
— стоимость инфраструктуры в расчете на Ватт ниже на 73%, чем при строительстве ЦОДа с воздушным охлаждением, и на 55%, если ЦОД использует внешнюю среду для охлаждения;
— стоимость инфраструктуры в расчете на сервер дает выигрыш в 86 и 70 процентов соответственно.

Экономия свыше 50% средств при эксплуатации:

— оборудование, находясь в жидкости, потребляет на 10-20% энергии меньше, в зависимости от типа, за счет отсутствия куллеров и потерь токов с чипов, благодаря их нахождению в диелектирке и обеспечению их постоянной температуры;
— 90-95% енергии сохраняется благодаря охлаждению серверов в жидкости и отсутствию крупногабаритных систем охлаждения в ЦОДе, так как теперь тепло от шкафа с серверами в минеральном масле можно эффективно отвести применив испарительную охлаждающую башню (никакой механики, только испарение воды) или при помощи контура с холодной водой;
— нет расходов связанных с амортизацией обычных систем охлаждения, расходы на системы энергообеспечения значительно сокращаются в перерасчете на N юнитов, благодаря тому, что нужно содержать меньше батарей UPS в том числе;
минеральное масло практически вечно, его не нужно менять и почти не нужно добавлять (за исключением случаев утечки), в отличии от других охладителей в ЦОДах;
— если в среднем сервером потребляется порядка 230-270 Ватт мощности и 50-170 Ватт на охлаждение, в зависимости от применяемого метода охлаждения, то использование охлаждения в жидкости снижает среднее потребление энергии сервером до 210 Ватт, а энергия необходимая на его охлаждения составляет порядка 10 Ватт!



Можно отвести свыше 100кВатт тепла от погруженного в минеральное масло шкафа на 42 юнита! А также значительно снизить траты на серверное оборудование, до 50% на различные комплектующие, а все потому, что теперь постоянная температура эксплуатации примерно на 20 градусов ниже, чем в воздушной среде, есть возможность применять без опасений даже декстопные комплектующие, так как они работают при гораздо более низких температурах.

От «подводных» серверов до ПК, охлаждаемых жидкостью, или как создать рабочую станцию в жидкости в домашних условиях

Конечно эта идея не получила и не получит столь широкого применения на рынке персональных компьютеров, просто потому, что большинство уже давно перешло на ноутбуки и другие гаджеты, домашние рабочие станции в корпусе «tower» используют зачастую только профессионалы, так как им необходима большая производительность и отвод большого количества тепла. Вот для них погружение их бесценного железа в жидкость может стать очень полезным!

Оказывается реализовать это в домашних условиях не сложно и возможно, причем было сделано уже многими любителями модинга и довольно давно. Некоторые компании даже предлагают приобрести готовое решение, на основе минерального масла «Crystal Plus 70T», которое доступно в свободной продаже и по словам экспериментаторов идеально подходит для этой задачи, имеет теплоемкость в 750 раз выше, чем у воздуха и плотность более низкую, чем у воды.



Перемешивание жидкости может осуществляться благодаря пропусканию воздуха через минеральное масло или даже обычному компьютерному куллеру, который в минеральном масле вращается само собой гораздо медленнее, нежели в воздухе, однако сохраняет свою работоспособность. На вопрос о том, что делать с парами воды, которые будут попадать в минеральное масло при пропускании воздуха с целью перемешивания, разработчики отвечают, что благодаря различной плотности (бОльшая у воды), вода будет скапливаться в самом низу «аквариума», где не находиться каких-либо электрических компонентов, однако они еще не видели, чтоб в процессе долгой эксплуатации появлялось хотя бы мизерное количество воды, иначе бы резервуар начал напоминать «лава-лампу».

Хочу, чтоб в серверах плавали рыбы! Бросьте туда рыб!

Смею признать, что наблюдение различных РЫБОВ под водой — незабываемое удовольствие. Я дайвер и не отказался бы от рабочей станции дома в виде аквариума с тропическими или не очень тропическими рыбами.

Но увы, генная инженерия еще отстает от моды в IT, рыбы сдохнут, если их поместить в минеральное масло, оно по свойствам крайне далеко от так нужной рыбам воды. Будем надеятся, что эту идею, либо за счет применения новых технологий, либо за счет генной инженерии, удастся кому-нибудь реализовать в будущем, а пока можно использовать роботизированных рыб!

Я буду первым, кто закажет роботизированную boxfish!



Ну и само собой не забудьте поддержать строительство нашего будущего подводного Дата Центра (в идеи которого я не сомневаюсь) — закажите выделенные серверы у нас, пока что в Нидерландах и США и от $49, а в будущем и на Барьерном рифе!