Иммерсионное охлаждение или как не пустить деньги на воздух

Недостатки

Как и любая техническая конструкция, иммерсионное охлаждение владеет набором недостатков, в частности:

• Высокая стоимость.

  Все дело в том, что техническое обслуживание такой конструкции, может обойтись минимум в 25% затрат на обслуживание фермы в целом.

  То есть, если установленная  ферма,  потребляет энергии на 10 000 руб.

  То затраты на охлаждение составят 2 500 руб.

  Жидкость для охлаждения стоит недешево.

• Емкость для иммерсионной жидкости открывается только сверху и поэтому собрать ферму на стеллажах вряд ли получится.
• При проведении профилактики, жидкость может попасть на пол, а оттереть ее сложно.
• Требуется обеспечить фильтрование рабочей жидкости.

  Это позволит избежать появления осадка и загрязнений.

Плюсы и минусы

На практике использование иммерсионных установок дает заметные преимущества:

• Снижение затрат электроэнергии. Компания Allied Control, работающая в сфере добычи криптовалют, провела исследование рентабельности использования иммерсии для теплорегуляции в майнинге, в результате чего было выявлено, что энергопотребление ASIC сокращается на 90%.
• Отсутствие шума. Наибольший шум при добыче криптовалют создают именно кулеры. Иммерсионные установки работают бесшумно и поглощают звук от работы асиков.
• Экономия пространства. При воздушном способе борьбы с нагреванием майнеры следует размещать друг от друга на некотором расстоянии, обеспечивая хорошую циркуляцию воздуха. Таким образом, даже не крупная ферма требовала целого помещения. В случае с иммерсионной ванной, оборудование можно размещать впритык. В итоге, на одной и той же площади можно разместить в 10 раз больше устройств.
• Повышенная производительность оборудования. Благодаря тому, что устройства для майнинга понижают свою температуру более эффективно, появляется возможность существенно увеличить их хешрейт с помощью разгона. В зависимости от модели техники прирост мощности варьируется в диапазоне от 10% до 15%.
• Снижение затрат на оборудование. За счет того, что теперь нет необходимости оснащать вычислительную технику собственными кулерами для воздушного охлаждения появилась возможность заказывать у производителей только сами печатные платы. Техника без вентиляторов обходится на 5-10% дешевле.

К недостаткам иммерсионных систем можно отнести то, что готовые установки и сама жидкость стоит достаточно дорого. Кроме того, такая система требует достаточного сложного обслуживания. Жидкость нужно регулярно подливать и фильтровать. Это чревато потеками, грязью и может потребовать помощи профессионалов, а ввиду новизны найти хорошего специалиста в данной области не так то просто.

Как появился Novec

Первоначально для охлаждения трансформаторов использовали минеральное масло. В 50-ые гг. компания 3M впервые изготовила фторсодержащий хладагент для военной авионики. Его назвали Fluorinert. В 1996 году появился новый тип жидкости под маркой Novec, в которой не было озоноразрушающих веществ.

Жидкость первого поколения относилась к перфторуглеродам. Её свойства:

• прозрачная;

• без цвета и запаха;

• негорючая;

• отличные диэлектрические свойства;

• совместимость со многими материалами;

• высокие точки кипения.

Главным недостатком Fluorinert было то, что испарения жидкости долго оставались в атмосфере и косвенно способствовали глобальному потеплению. Поэтому их использовали в тех установках, где можно было обеспечить герметичность и минимизацию выбросов жидкости в окружающую среду

Особое внимание уделялось тому, чтобы жидкость не попадала на кожу и в глаза. В результате многолетней эксплуатации в суперкомпьютерах Cray-2 выяснилось, что она расщеплялась и выделяла очень токсичный перфторизобутан

В ЦОДах при длительной эксплуатации появлялись проблемы с блоками питания, проводами, конденсаторами и пр.

Большую популярность жидкости Novec имеют на Западе. Во-первых, бренд хорошо известен и зарекомендовал себя как безопасное средство тушения при возгораниях электроники. Во-вторых, 3M позиционировал жидкость как доработанную для майнеров. В-третьих, майнеры США и Западной Европы готовы вкладываться в майнинг с долгосрочным «прицелом»

И, что немаловажно, они готовы инвестировать солидные средства в систему охлаждения. На просторах СНГ иммерсионное охлаждение больше связано с экспериментами и реализацией штучных проектов, причём жидкость якобы должна быть дешёвой и столь же безопасной как Novec

Но так не бывает.

С применением Novec появилась возможность создавать двухфазные системы иммерсионного охлаждения (2 PIC) с полуоткрытыми контейнерами.

Маленький трюк, позволяющий снизить температуру видеокарты

Я не буду останавливаться на том, как измерить температуру видеокарты и её окружения, благо я уже говорил об этом в статье «Температура компонентов компьютера: как измерить и какими должны быть», а знатоки железа, разгона (и плюс-минус заядлые игроки) и вовсе наверняка наслышаны и пользуются такой вещью как RivaTuner (я еще упомяну его в статье про разгон) или ATI Tray Tools. Посему приступлю сразу к практике и поговорю о том как охладить видеокарту лучше. Но сначала немного предыстории.

Как Вы наверняка знаете, температур у видеокарты несколько. В основном, главные из них три (точнее именно с этих трех обычно снимаются показания датчиков), — это температура графического ядра, температура памяти и температура окружения.

Если с первой еще всё понятно и она контролируется кулером, непосредственно прилепленным с помощью радиатора, тепловых труб и прочих радостей систем охлаждения, то со второй+третьей несколько печальней, ибо производитель редко заботится о качественном обдуве видеопамяти (в лучшем случае стоят радиаторы, которые, между прочим, обдуваются горячим воздухом внутри кожуха охлаждения) и вообще окружения как такового.

Попробуйте поиграть пару часиков, а потом открыть корпус и дотронуться рукой до видеокарты. Не знаю как у Вас, а у меня (даже при мощном двукулеровом охлаждении от Palit с выбросом тепла за пределы корпуса) на верхней поверхности платы можно смело жарить яичницу.

Система вентиляции и охлаждения майнинг фермы

– точнее будет сказать не только вентиляции, а скорее система поддержания необходимого микроклимата помещения, то есть поддержания температуры для бесперебойной и безопасной работы вашего оборудования, как в зимний, так и в летний период года.

Каждый период года для поддержания необходимых параметров климата в помещении для майнинга имеет ряд ключевых особенностей. По своей сути система охлаждения для майнеров на видеокартах и майнеров на асиках принципиально не отличается.

Начнем пожалуй с того, что рассмотрим необходимые параметры микроклимата для одного из наиболее современных моделей оборудования фермы – это асик (asic) Antminer S9.

Дополнительная вентиляция помещения

Даже
видеокарты с идеальной системой охлаждения будут перегреваться в закрытом
помещении без вентиляции, особенно если на улице жара. Что можно предпринять?

Вентиляторы

Купите
напольный вентилятор, он может на 5/6 градусов понизить температуру фермы.

Внимание! Нужно установить вентилятор так, чтобы он обдувал карты с торца, или со стороны бэкплейта. Направляя сильный поток воздуха, прямо на пропеллер видеокарты вы можете его сломать

Хорошо, если с противоположной стороны открытая дверь. Тепло будет сразу же улетучиваться, не накапливаясь в помещении. Бытовой вентилятор должен быть рассчитан на большие площади, но, наверное, не стоит переплачивать за дополнительные навороты и дизайн. Впрочем, каждый пусть решает сам. И не забывайте хотя бы раз месяц очищать устройство от пыли. Майнинг-ферма также требует профилактических работ. В магазинах продаются баллончики со сжатым воздухом для удаления пыли с компьютерных комплектующих, но лучше приобрести электрическую воздуходувку.

Для мини-фермы
можно купить настольный вентилятор. Он стоит дешевле и потребляет меньше
электричества, но охлаждает слабее и чаще ломается. Однако, в некоторых случаях
это самый подходящий вариант.

Кондиционер

Кардинальной мерой дополнительного охлаждения видеокарт является установка кондиционера. Дорогостоящий, если не сказать расточительный вариант. Учтите сплит-система рассчитана на работу в закрытом помещении, а майнинг-ферма серьезно нагревает воздух. Это все равно, что включать кондиционер и электрический обогреватель одновременно. Вы будете много платить за электроэнергию, и кондиционер раньше времени выйдет из строя. Кроме того, в доме должна быть надежная электропроводка иначе случится пожар.

Вытяжки

Вытяжка для фермы предназначена для того, чтобы выводить из помещения остаточное тепло. Без принудительной вентиляции не обходится ни один дата-центр, но целесообразность ее использования в домашних условиях под вопросом.

Устройство шумное и энергоемкое, да и стоит не дешево. Проще открыть форточку, создавая сквозняк. Кстати, ферма не только нагревает, но и сушит воздух. Нелишним будет установить в одной комнате (но подальше от фермы) увлажнитель воздуха или открытую емкость с водой. Самый экзотичный метод разложит емкости с сухим льдом, но это дорогое удовольствие.

Система однофазного охлаждения на базе Novec

В однофазной системе охлаждения не происходит фазовый переход из жидкого состояния в газообразное. Жидкость циркулирует при помощи насоса и после охлаждения в теплообменнике возвращается в ёмкость. Для однофазных систем выбирают, как правило, жидкости с высокой точкой кипения (120-130 градусов Цельсия, как у Novec 7500), но при этом она должна коррелировать с рабочим диапазоном погружённого оборудования.

Здесь также существует несколько технических нюансов, которые сводятся к компромиссу между летучестью, достигаемой на высоких температурных режимах и теплопередачей. В однофазных системах применяют Novec 7300 и 7500.

В системах без фазового перехода проще контролировать давление и не нужно учитывать расширение жидкости вследствие перехода в пар. Компенсировать эти процессы проще и дешевле.  

Преимущества однофазной системы на базе Novec:

• конструкция проще, чем при двухфазном охлаждении;

• можно погрузить новое и бывшее в употреблении оборудование;

• безопасность для окружающих;

• можно изготавливать ёмкости под разное оборудование.

Недостатки однофазной системы на базе Novec:

• высокая цена теплоносителя;

• практика показала, что состав постепенно разъедает пластификаторы и некоторые иные элементы;

• из-за летучести всё равно нужно делать ёмкость максимально герметичной;

• при длительном использовании и возникновении щелей возможно выкипание жидкости;

• нужно учитывать слишком много характеристик оборудования и совместимость жидкости с компонентами в условиях высоких температур.

Недостатки

У вас может возникнуть резонный вопрос: если иммерсионная система охлаждения настолько эффективна, то почему большинство майнеров пользуются вентиляторами? Дело в том, что у жидкостного охлаждения есть свои недостатки.

• Высокая стоимость. На обслуживание системы иммерсионного охлаждения от заводов-производителей уходит в среднем 25% от затрат на обеспечение работы майнеров. Другими словами, если ваше оборудование потребляет электричество на 10 тыс. рублей в месяц, то 2,5 тыс. рублей вы будете тратить на систему охлаждения. Жидкость, к сожалению, стоит дорого.
• Труднодоступность. Бак с иммерсионной жидкостью открывается только сверху, поэтому установить оборудование на стеллажах не получится.
• Грязь. Во время работы с майнером (замена кабеля, вентилятора) жидкость может пролиться на пол, ее очень трудно оттереть, особенно, если вы используете масло.
• Фильтрация. Охлаждающую жидкость необходимо фильтровать, чтобы избежать образования осадка и загрязнений.

Когда стоит использовать иммерсионное охлаждение?

Одной из первых компаний, которая начала разрабатывать системы иммерсионного охлаждения видеокарт для майнинга криптовалют, стала Green Revolution Cooling. Ведущий эксперт Брэндон Мур уверен в том, что развитию жидкостных систем охлаждения будут способствовать два главных фактора: высокая стоимость электричества и дорогая недвижимость.

Виды охлаждения видеокарт

Подбирая графические адаптеры для майнига, обращайте внимание на кулер. Устройства с одним пропеллером и дешевые модели без тепловых трубок покупать не стоит

Не говоря уже о видеокартах без принудительного охлаждения. Впрочем, самые бюджетные ГП абсолютно непригодны для майнинга, ввиду слабой вычислительной мощности. Конечно, во времена криптолихорадки собрали фермы даже из Rx 560/550. Но, тогда они окупались быстрее, чем выходили из строя. Карты с турбинным охлаждением более шумные в работе и сильнее греются.

Лучшим вариантом будут двух и трехвентиляторные gpu-устройства. Современные видеокарты рассчитаны на высокие нагрузки, но все же им трудно майнить криптовалюту в режиме 24/7. Необходимо учитывать особенности той или иной модели.

Одни графические процессоры, например, GTX 1080 Ti спокойно работают 72/75C, а для Rx 570 это очень много, их рабочая температура 60/63C. Конечно, перегрев на 2-3 градуса не приведет к немедленной поломке. Но, оборудование будет давать много битых шар, зависать, и  скорость хеширования упадет. В результате вы потеряете деньги. Поэтому, если температура в майнинге выше нормы необходимо дополнительное охлаждение для видеокарты.

Дополнительные
кулера

Умельцы ставят большие вентиляторы для ПК напротив каждой видеокарты, или же с двух сторон, чтобы обеспечить мощный продув.

Вариант в принципе неплохой, но стоит довольно дорого и повышает уровень шума. Кроме того, дополнительные кулера нагружают блок питания фермы, и если запаса мощности не хватит, система выполнит reboot или вовсе отключится.

Термопаста

Качество
термопасты также играет роль. Термопастой называют сделанную по особой
рецептуре минеральную смесь, отличающуюся высокими теплопроводящими свойствами.
По консистенции она напоминает зубную пасту или крем для обуви. Вещество
наносится на защитную крышку видеочипа и потом сверху устанавливаются воздушные
теплоотводы. Паста заполняет все неровности и шероховатости поверхности как
решетки кулера, так и крышки ГП, обеспечивая максимальную теплоотдачу.

В процессе работы смесь постепенно засыхает и теряет свойства. Но даже и на новых видеокартах термоинтерфейс не всегда бывает идеальным. Когда устройство долго лежит на полке магазина, то термопаста постепенно стареет, а иногда случается заводской брак. Если видеокарта еще на гарантии, поменять термопасту самостоятельно нельзя, нужно идти в сервисный центр.

В принципе замена термоинтерфейса дело не сложное, однако, если вы никогда этого не делали, обратитесь к специалисту. По неопытности можно даже «убить» графический процессор

Кроме того, очень важно правильно выбрать смесь. Хорошие термопасты производит компания Arctic

Способы охлаждения ASIC майнеров

В наше время выделяют несколько самых эффективных способов регулировки температурного режима для работы асиков:

1. Вентилирование. Асики должны располагаться в помещении с возможностью проветривания. В идеале оно должно быть дополнительно оборудовано кондиционером и оснащаться вентиляционными отверстиями. При этом желательно, чтобы оно было компактным, поскольку в этом случае регулировать температуру проще.
2. Иммерсионное охлаждение Асика жидкостью. Для этого покупаются охлаждающие шкафы и специальная жидкость со сравнительно невысокой температурой кипения. В неё погружают асик. В момент нагрева устройства тепло, выделяемое им, поглощается жидкостью — она начинает кипеть и испаряться. Большинство моделей таких шкафов дополнительно оборудованы конденсаторной системой, охлаждающей поступающий пар и возвращающей его в виде жидкости обратно. Сегодня для жидкостного охлаждения Асика в большинстве случаев используют 3M Novec Engineered Fluid.

Не меньшим спросом пользуется передача ASIC в дата-центры, где соблюдается оптимальный микроклимат для стабильной работы устройств. Однако в таком случае пользователь теряет часть прибыли, которую ему придётся отдавать за обслуживание майнера.

Сравнение рынка — что есть с решением ComBox:

Расчетное энергопотребление одного контейнера ComBox IC-960 – 170 кВт/час. Хешрейт на Ethereum – 25,9 террахешей/сек. Энергопотребление рассчитано для всей системы непосредственно от энергосети, а не только от процессоров видеокарт, как делают многие.

Внешний вид секции для систем с иммерсионным охлаждением ComBox IC-96:

Над решением компания ComBox Technology работала в течение двух лет, и за это время было сделано следующее:

1. Реализовано несколько контейнеров с воздушным охлаждением на видеокартах AMD RX570. Выявлена все недостатки подобных решений, такие как плотность установки карт, риски возгорания, температурные перепады, загрязнение, перегрев и многие другие.
2. Все контейнеры объединены в комплексную экосистему ComBox. Спроектировано и внедрено в промышленную эксплуатацию программное решение собственной разработки и набор аппаратных решений для автоматического пожаротушения, отключения, удаленного управления и т.д.
3. Разработана модель иммерсионного охлаждения и реализовали ее на базе полнофункционального прототипа, который состоит из одной материнской платы и 6 карт.
4. Реализована секция с 96 картами на один бойлер в качестве промышленного решения будущего.
5. Собран один контейнер с двухфазным иммерсионным охлаждением, в котором располагается 960 карт AMD RX470 с энергопотреблением около 170 кВт/час.
6. Разработана фин. модель проекта и структурная схема под будущее масштабирование производственной линии с ее переводом от мелкосерийного производства к конвейерному типу.

Разработчики изначально заложили в концепцию возможность использования разработанных технологий не только в майнинге, но и в наукоемких вычислениях, где спрос только формируется и растет.

На текущем этапе компания находится на этапе масштабирования, путем привлечения внешних инвестиций для готового решения, обладающего необходимым потенциалом, в основе которого лежит уникальная технология.

Асик с водяным охлаждением Bitmain Antminer C1

Технические характеристики Bitmain Antminer C1

Подключение майнера

Чтобы начать работу с Bitmain Antminer C1, требуется сделать следующие шаги:

1. Подключаем асик и ПК с помощью сетевого кабеля.
2. Указываем IP-адрес аппарата (192.168.1.99) в строке браузера, и таким способом входим в систему. Имя и пароль на момент входа (по умолчанию) — root.
3. Меняем IP-адрес через меню установок. Теперь жмём на Network и выбираем сохранение и применение.

Настройка и состояние

1. URL пула. Здесь требуется прописать адрес пула, с которым планируется работа.
2. Логин и пароль. В этих полях указываются данные работника, указанные при регистрации в пули. Учтите, что один ASIC-майнер можно настроить для работы одновременно с тремя пулами. При этом пулы имеют различный приоритет. Если работа с первый не приносит прибыли, подключается второй и так далее.
3. «Beeper ringing». Если поставить галочку, устройство оповещает об остановке добычи криптовалюты.
4. Ограничение температуры. При задании настроек можно выставить, чтобы майнер останавливался при достижении температуры 80 градусов Цельсия. Если этого не сделать, он продолжит работу, но тогда имеется риск перегрева аппарата и выхода из строя.
5. Сохранение настроек. После этого требуется перезапустить майнер, после чего он приступает к добыче криптовалюты.

Прибыльность

В завершение просчитаем прибыль майнера Bitmain Antminer C1 с водяным охлаждением на 14.02.2018 года. Сведения для расчёта:

1. Хэшрейт — 1 ТХ/сек.
2. Криптовалюта — Биткоин.
3. Курс — 8 794 доллара за 1 Bitcoin.
4. Премия за блок — 12,5 монет BTC.
5. Мощность потребления — 820 Вт.
6. Тариф электроэнергии — 0,09 доллара.
7. Период работы — 30 дней.

Недостатки

Как и любая техническая конструкция, иммерсионное охлаждение владеет набором недостатков, в частности:

• Высокая стоимость. Все дело в том, что техническое обслуживание такой конструкции, может обойтись минимум в 25% затрат на обслуживание фермы в целом. То есть, если установленная  ферма,  потребляет энергии на 10 000 руб. То затраты на охлаждение составят 2 500 руб. Жидкость для охлаждения стоит недешево.
• Емкость для иммерсионной жидкости открывается только сверху и поэтому собрать ферму на стеллажах вряд ли получится.
• При проведении профилактики, жидкость может попасть на пол, а оттереть ее сложно.
• Требуется обеспечить фильтрование рабочей жидкости. Это позволит избежать появления осадка и загрязнений.

Жидкостное и воздушное охлаждение: сравнение методик

Для лучшего понимания технологии охлаждения иммерсионной жидкостью ее сравнивают с подобным воздушным охлаждением. Те положительные свойства, о которых было сказано ранее, и являются преимуществами, которые выделяют именно охлаждение жидкостью.

Можно отметить, что и воздушное охлаждение обладает своими особенностями, которые никоим образом не умаляют его достоинств. При помощи воздуха также можно осуществить эффективное охлаждение, которое позволит системе бесперебойно работать. Хотя в летние месяцы такой вариант охлаждения выполняется сложнее, чем аналогичный жидкостный.

В рамках данного материала было бы неправильно не сказать о тех недостатках, которыми обладает иммерсионное охлаждение:

1. Сложность в расчетах, которая под силу только специалисту.
2. Небольшое количество тех специалистов, которые действительно разбираются в теме.
3. Сложность в покупке нужной жидкости.
4. Высокая стоимость.

Последний показатель является субъективным, так как цена на жидкостное охлаждение при грамотном его формировании будет сопоставима с такой же системой воздушного охлаждения

А если принять во внимание все преимущества системы, можно понять, что окупаемость будет скорой

Своими силами сложно выполнить майнинг ферму с иммерсионным охлаждением, поэтому сейчас множество вариантов уже готовых устройств. Так, к примеру, компания PLAST.RU осуществляет создание и монтаж иммерсионных майнинг ферм «под ключ». Эти фермы отличаются высокими качественными характеристиками, которые порадуют своего владельца и дадут ему толчок для поднятия доходности от этой деятельности. Достаточно только заказать устройство для майнинга, а всем остальным займется PLAST.RU.

Выводом послужит тот факт, который в результате доказательств показал, что иммерсионное охлаждение является современной и энергоэффективной методикой, которая все чаще применяется для майнинга.