- Альтернатива традиционному охлаждению или "Стакан жидкости vs Кубометр воздуха". - Устройство системы охлаждения: подсистема охлаждения узлов + подсистема утилизации тепла. - Типы оборудования, которые можно охлаждать. - Преимущества перед традиционными "воздушными" системами + примеры кейсов (суперкомпьютеры, рендер-фермы, биткойн-фермы, гиперконвергентность и пр.). - Сравнение технологий погружного охлаждения: Novec 1230 vs Полимер/Мин.масло. - Экономическая эффективность на пальцах. - Ответы на вопросы.

1. Cистемы
с непосредственным
жидкостным охлаждением
Василий Кирсанов
ТК «Связь»
Версия 4

2. Непосредственный контакт

3. Отход от стереотипов

4. Аппетиты растут…
Intel® Xeon® E5-2600 v4 до 18 ядер
3D рендеринг

5. Кому нужно столько мощщи ?

6. Моделирование процессов

7. Волшебный мир кино

8. Стандартные размеры 600х1200
Инженерный комплекс
Смена парадигмы
Оборудование погружается в
специальную стойку-ванну с
диэлектрической (непроводящей)
жидкостью.

10. модифицировать
серверное
оборудование
Ванна с хладагентом
ИТ-стойка +200-400кг
Как устроено ?

11. Принципиальная схема (2 контура)
Хладагент циркулирует по системе и отбирает выделяемое ИТ-оборудованием тепло
43°С (а не 20-25)
(от -50 до +50 °С)

12. радиатор + венилятор
Куда девать тепло ? Freecooling – наше всё.

13. vs
для отведения одинакового кол-ва тепла потребуется разное кол-во времени и энергии
Стакан жидкости vs Кубометр воздуха

14. Рояль в кустах

15. 1985
Cray-2
№1 до 1990

17. 3M Novec™ vs Полимер
Двойняшки ≠ Близнецы

18. Свойство Вещество
Название Воздух ОХЛ-14 Novec™ Novec™
Молекулярная формула - - C6F12O C7F14O
Тип Газ (N, O) Смесь полимеров Фторкетон Фторкетон
Температура кипения, °С −195,8 / −182,98 > 130 49 74
Температура замерзания,
°С
−214 / −218,79 < −70 < -100 < -100
Температура вспышки в
открытом тигле , °С
нет 160-180 нет нет
Температура
самовоспламенения пара
нет > 300°С нет нет
Теплопроводность, Вт/м*К 0,023 0,11-0,13 0,059 ~ 0,06
Удельная теплоемкость,
Дж/кг*К
1000 1500-1700 1103 1130
Плотность, кг/м3 1,2 850-950 1600 1670
Физические характеристики хладагента

19. Такие похожие и такие разные
- Не работает оптика и атмосферные HDD
- Нет отраслевого стандарта
- Не подходит для Collocation
3M Novec™ Полимер
- быстрое испарение
• чистое оборудование
• герметичные стойки
• надо доливать
• выше теплоотдача
- содержит фтористые соединения
- дорогой
- малоиспаряемый
- оставляет плёнку на оборудовании
- нетоксичный
- высокая текучесть (капиллярный эффект)
- может вступать в реакцию…
- недорогой

20. Что можно охлаждать ?
CPU
GPU
ASIC
HDD Helium
SSD
MB
RAM
PSU
UPS

21. Сколько тепла можно отвести от стойки ?
Воздух Жидкость
25 кВт
50 кВт
> 100 кВт
5-7 кВт – обычный кондиционер
9-12 кВт – хол./гор. коридор
~ 20 кВт – рядные кондиционеры
С каждой итерацией растёт сложность системы
и бюджет на инфраструктуру
> 50 кВт
обычная стойка
600х1200
нестандартный
размер

22. vs

23. Мораль:
Сравнить надо комплексно:
«железо» + всё окружение
Хотим серверное помещение с нуля. Какие затраты ?
+ купить/построить/перестроить помещение
+ подготовка помещения:
• фальшпол,
• гидроизоляция,
• пожаротушение (трубопроводы, газовая система)
• система охлаждения / подготовки воздуха
• холодный и горячий коридор
• воздуховоды, система дымоудаления
+ само серверное оборудование
+СЖО
+ серверы
+ порошковое пожаротушение
Не нужно специальное помещение
Экономика на пальцах. CAPEX

26. Авантюра. Да. Но технология позволяет…

27. А что ? Деревянный же ЦОД есть…

28. Передвижной вычислительный комплекс

29. Экономим электричество. OPEX
– 10-20%
– 90-95%
почти не требует обслуживания

30. Что дальше ?
Ведутся работы по
созданию
СХД большого
объёма (от 1 Пб).
снизить себестоимость. увеличить плотность размещения до 8 CPU / Unit

33. Более надёжная работа серверов
- Увеличение срока службы оборудования (нет коррозии)
- Отсутствие пыли
• нет статического электричества, исключена вероятность пробоя,
• не ухудшается отведение тепла
- Из-за отказа от вентиляторов отсутствует риск их поломки (и перегрева)
- Постоянная циркуляция хладагента препятствует возникновению локальных точек перегрева
- Снижение внутренних вибраций и, как следствие, ошибок чтения/записи жестких дисков

34. 4 CPU x86 / 1U
Высокая производительность
- высокая плотность размещения (до 80 ЦПУ/стойку)
- постоянный Turbo Boost
- гетерогенные системы из CPU + GPU

35. Если мало места…
+ отсутствие шума 

36. При дефиците электричества

37. Гиперконвергентные системы

38. Работа в экстремальных условиях

39. корпус системы действует как клетка Фарадея
(если корпус металлический, а не пластиковый/стеклянный)
Защита от сглаза снятия на расстоянии

40. Почему все не кинулись «топить» железо ?
(если всё так прекрасно)
неосведомлённость страхистереотипы

41. Объективные причины
нет больших тепловыделений не загружена существующая
инфраструктура (на воздухе)

42. Мочить или не мочить ?

43. c 2012
В Мире уже используют
Изучают и присматриваются
Allied Control
и многие другие…

44. Смелые заказчики

45. Вопросы ?

46. v.kirsanov@tk-svyaz.ru
Благодарю за внимание !