Архив

Архив Апрель 2017

Как я собирал комп для Deep Learning (год 2017)

21 апреля 2017 Нет комментариев

Выиграв конкурс и получив призовые, встал вопрос о втором компе, который будет играть роль сервера для расчёта нейронных сеток. На своём 980 Ti с 6 GB памяти мне стало тесновато. И например на 3Д свёртках в задаче с раком лёгких я утыкался в лимиты. Да и при запуске расчётов работать за компом становилось не комфортно из-за тормозов интерфейса, да и Youtube особо не посмотришь.

Итак после небольшого изучения рынка и опыта товарищей по цеху, было принято решение собирать компьютер из 4 GPU. Для этого было выбрано 4 видео карты, 2 свежие NVIDIA 1080 Ti 11 GB + 1080 8 GB + 1070 8 GB. Две последние из-за относительной дешевизны. За это решение, впрочем, меня критиковали.

Сразу оговорюсь, что компы я собираю редко и не люблю тратить на это время. Плюс я не знаю много тонкостей в сочетании разных комплектующих. Поэтому я заказывал все комплектующие в одном месте вместе со сборкой. Артур (n01z3) мне посоветовал Регард. Я и до этого там покупал что-то из комплектующих, но не знал что они занимаются и сборкой, которая кстати бесплатная. К тому же у них шикарный конфигуратор: http://www.regard.ru/cfg  Там правда возможно выбрать только 2 видеокарты, но ещё 2 можно написать в комменте к заказу (что я и сделал).

Тонкости
1) Крайне мало материнских плат поддерживают 4 видеокарты, прежде всего из-за их размеров. Топовые видеокарты занимают сразу два слота.
2) Соответственно из-за больших размеров комплектующих лучше заказать корпус максимального размера. Я ориентировался на XL-ATX
3) В пике каждая видеокарта может потреблять более 250W, соответственно 4 это уже 1000W. Не забываем что энергию едят и другие устройства. Поэтому блок питания нужен минимум на 1200 W. Я взял с запасом на 1500 W.
4) Ожидаемо, что при таких потреблениях энергии всё это хозяйство будет сильно греться. Дополнительно в корпус я запихнул 4 вентилятора.
5) Для того что бы комп не вырубался при перепадах энергии я заказал UPS, который держит 1500W, мой стандартный начинал жалобно пищать от перегруза во время работы всех 4 карточек.
6) Изначально я решил не тратиться сильно на процессор, из-за того что одна и та же серия при небольшой казалось бы разнице в производительности может различаться по стоимости в разы. Однако для поддержки 4 видеокарт надо брать процессор с 40 линиями PCI, первый который я выбрал был только на 28.
7) У процессоров есть ограничение на количество поддерживаемой памяти. В моём ограничение было 64 GB (это я выяснил уже постфактум на этапе сборки), однако каким то чудом видно все заказанные 128 GB и я проверил их скриптом, что всё записывается и читается. Вообще я не уверен что для DL нужно 128 ГБ, потому-что я уже давно перешёл от модели зачитки всех изображений в память к работе с отдельными батчами, а там обычно много оперативной памяти не требуется. Batch Generator наше всё.

Читать далее…

Ubuntu vs новые видеокарты

20 апреля 2017 Нет комментариев

Возникла проблема с установкой Unubtu на новый компьютер с четырьмя NVIDIA GTX 1080 Ti. Шаги по установке:

1) Качаем образ из официального репозитория (я использовал 16.04): releases.ubuntu.com

2) Записываем на загрузочную флешку с помощью Rufus: rufus.akeo.ie

3) Загружаемся с флешки, на этом этапе возникли ошибки вида «NMI watchdog: BUG: soft lockup — CPU#0 stuck for 22s! [migration/0:9]» или «nouveau pfifo sched_error 08» — это как выяснилось проблемы с драйверами видеокарты.

Решение состоит из следующих этапов:

1) Совет как всё же начать установку найден здесь: https://ubuntuforums.org/showthread.php?t=2354834

Выбираем при загрузке «Установка Ubuntu» и жмём «e» на клавиатуре. Меняем строчку:

на

И жмём F10. Должен появится графический интерфейс, который даст установить Ubuntu. подробности по установке можно почитать здесь:
http://www.tecmint.com/install-ubuntu-16-04-alongside-with-windows-10-or-8-in-dual-boot/

2) После перезагрузки надо снова добавить «nomodeset vga=791» с помощью кнопки «e».

Если нет интернета (не видно Wi-Fi), ставим драйвера по этому гайду:

http://help.ubuntu.ru/wiki/broadcom

Теперь надо поставить последние драйвера для видеокарты. Жмём на экране «Ctrl + Alt + F3»  попадаем в терминал, выполняем

и ставим последние доступные вида «nvidia-367», в моём случае было:

Если всё поставилось успешно, то ребутимся

3) Если не получается войти в Ubuntu, после логина снова выкидывает на форму логина, то решение можно почитать здесь:

https://askubuntu.com/questions/223501/ubuntu-gets-stuck-in-a-login-loop

Categories: FAQ Tags:

Оптимизация изображений без потерь

16 апреля 2017 Нет комментариев

Свежий пост на Хабре: https://habrahabr.ru/post/326122/

И новый минисайтик: http://lossless-image-optimization.com

Categories: Ссылки Tags: