Архив

Архив автора

Град в Москве (23.06.2018)

Попал в небольшой град на пересечении Ленинградки и ТТК

Categories: Видео, О жизни Tags:

Настройка майнинга NiceHash под Ubuntu

26 декабря 2017 Нет комментариев

Сначала ставим драйвера Nvidia и CUDA-8.0. Например так:

https://www.asozykin.ru/deep_learning/2017/02/26/How-to-install-cuda-8-on-Ubuntu-16-04.html

Рецепт для Equihash

https://www.reddit.com/r/NiceHash/comments/777ezc/running_nicehash_for_gpu_on_ubuntu/

Проверяем:

Запускаем:

Рецепт для CCMiner (Lyra2V2)

https://cryptoandcoffee.com/mining-gems/install-ccminer-tpruvot-fork-ubuntu-16-04/

Запуск:

Categories: FAQ Tags:

2 место на конкурсе Pri-matrix Factorization

26 декабря 2017 Нет комментариев

В этот раз пришлось раскладывать по полочкам 1 ТБ видеофайлов. Из которых 200К тренировочные, 80К тестовые и 160К неразмеченные. Сортировка велась по 24 классам. Из которых 23 класса различные животные и 1 класс на кадры без животных. Точность у моделей крайне высокая.

Описание конкурса | Таблица результатов

И традиционно небольшое видео по мотивам конкурса:

2 место в конкурсе «N+1 fish, N+2 fish»

31 октября 2017 2 комментария

Закончился конкурс от DrivenData: N+1 fish, N+2 fish. Удалось взять второе место.

Небольшое видео с результатами работы алгоритма

Как отладить нестандартную loss-функцию на Keras?

Основная проблема с Loss функцией — это проблема с выводом значений переменных внутри неё, она компилируется и затем выполняется на GPU, где никакой print не работает. Методика для отладки может быть следующая.

1) Создаем 2 numpy-массива, содаржащие TRUE и PREDICTED значения. Например:

2) Делаем стандартную Python функцию которая вычисляет на основе этих переменных Loss. Убеждаемся что она работает верно.

3) Пишем функцию для Keras с использованием бекенда и которая затем будет передваться как loss-функция в метод compile.

4) Вызываем numpy функцию и keras функции:

Убеждаемся что результат одинаков. Если нет правим ошибки.

Как я собирал комп для Deep Learning (год 2017)

21 апреля 2017 1 комментарий

Выиграв конкурс и получив призовые, встал вопрос о втором компе, который будет играть роль сервера для расчёта нейронных сеток. На своём 980 Ti с 6 GB памяти мне стало тесновато. И например на 3Д свёртках в задаче с раком лёгких я утыкался в лимиты. Да и при запуске расчётов работать за компом становилось не комфортно из-за тормозов интерфейса, да и Youtube особо не посмотришь.

Итак после небольшого изучения рынка и опыта товарищей по цеху, было принято решение собирать компьютер из 4 GPU. Для этого было выбрано 4 видео карты, 2 свежие NVIDIA 1080 Ti 11 GB + 1080 8 GB + 1070 8 GB. Две последние из-за относительной дешевизны. За это решение, впрочем, меня критиковали.

Сразу оговорюсь, что компы я собираю редко и не люблю тратить на это время. Плюс я не знаю много тонкостей в сочетании разных комплектующих. Поэтому я заказывал все комплектующие в одном месте вместе со сборкой. Артур (n01z3) мне посоветовал Регард. Я и до этого там покупал что-то из комплектующих, но не знал что они занимаются и сборкой, которая кстати бесплатная. К тому же у них шикарный конфигуратор: http://www.regard.ru/cfg  Там правда возможно выбрать только 2 видеокарты, но ещё 2 можно написать в комменте к заказу (что я и сделал).

Тонкости
1) Крайне мало материнских плат поддерживают 4 видеокарты, прежде всего из-за их размеров. Топовые видеокарты занимают сразу два слота.
2) Соответственно из-за больших размеров комплектующих лучше заказать корпус максимального размера. Я ориентировался на XL-ATX
3) В пике каждая видеокарта может потреблять более 250W, соответственно 4 это уже 1000W. Не забываем что энергию едят и другие устройства. Поэтому блок питания нужен минимум на 1200 W. Я взял с запасом на 1500 W.
4) Ожидаемо, что при таких потреблениях энергии всё это хозяйство будет сильно греться. Дополнительно в корпус я запихнул 4 вентилятора.
5) Для того что бы комп не вырубался при перепадах энергии я заказал UPS, который держит 1500W, мой стандартный начинал жалобно пищать от перегруза во время работы всех 4 карточек.
6) Изначально я решил не тратиться сильно на процессор, из-за того что одна и та же серия при небольшой казалось бы разнице в производительности может различаться по стоимости в разы. Однако для поддержки 4 видеокарт надо брать процессор с 40 линиями PCI, первый который я выбрал был только на 28.
7) У процессоров есть ограничение на количество поддерживаемой памяти. В моём ограничение было 64 GB (это я выяснил уже постфактум на этапе сборки), однако каким то чудом видно все заказанные 128 GB и я проверил их скриптом, что всё записывается и читается. Вообще я не уверен что для DL нужно 128 ГБ, потому-что я уже давно перешёл от модели зачитки всех изображений в память к работе с отдельными батчами, а там обычно много оперативной памяти не требуется. Batch Generator наше всё.

Читать далее…

Ubuntu vs новые видеокарты

20 апреля 2017 Нет комментариев

Возникла проблема с установкой Unubtu на новый компьютер с четырьмя NVIDIA GTX 1080 Ti. Шаги по установке:

1) Качаем образ из официального репозитория (я использовал 16.04): releases.ubuntu.com

2) Записываем на загрузочную флешку с помощью Rufus: rufus.akeo.ie

3) Загружаемся с флешки, на этом этапе возникли ошибки вида «NMI watchdog: BUG: soft lockup — CPU#0 stuck for 22s! [migration/0:9]» или «nouveau pfifo sched_error 08» — это как выяснилось проблемы с драйверами видеокарты.

Решение состоит из следующих этапов:

1) Совет как всё же начать установку найден здесь: https://ubuntuforums.org/showthread.php?t=2354834

Выбираем при загрузке «Установка Ubuntu» и жмём «e» на клавиатуре. Меняем строчку:

на

И жмём F10. Должен появится графический интерфейс, который даст установить Ubuntu. подробности по установке можно почитать здесь:
http://www.tecmint.com/install-ubuntu-16-04-alongside-with-windows-10-or-8-in-dual-boot/

2) После перезагрузки надо снова добавить «nomodeset vga=791» с помощью кнопки «e».

Если нет интернета (не видно Wi-Fi), ставим драйвера по этому гайду:

http://help.ubuntu.ru/wiki/broadcom

Теперь надо поставить последние драйвера для видеокарты. Жмём на экране «Ctrl + Alt + F3»  попадаем в терминал, выполняем

и ставим последние доступные вида «nvidia-367», в моём случае было:

Если всё поставилось успешно, то ребутимся

3) Если не получается войти в Ubuntu, после логина снова выкидывает на форму логина, то решение можно почитать здесь:

https://askubuntu.com/questions/223501/ubuntu-gets-stuck-in-a-login-loop

Categories: FAQ Tags:

Оптимизация изображений без потерь

16 апреля 2017 Нет комментариев

Свежий пост на Хабре: https://habrahabr.ru/post/326122/

И новый минисайтик: http://lossless-image-optimization.com

Categories: Ссылки Tags:

Немного итогов 2016 в области развлечений

Categories: Игры, Кино Tags:

Как запустить программу в Linux которая будет работать после выхода

1) Запустить программу «myprogram»
2) Нажать Ctrl+Z
~~~ [1]+ Stopped myprogram
3) Ввести команду (после процента номер который указан выше [1])
~~~ disown -h %1
4) Ввести (тот же номер):
~~~ bg 1
5) На экране появится [1]+ myprogram &

После выполненных действий можно смело выходить и программа продолжит работать.

Второй метод:
1) Создать новый screen и запустить программу там:
screen -S anyname

word2vec — бинарники под Windows x64

13 ноября 2015 Нет комментариев

Пришлось тут собрать себе word2vec под Windows на 64-х битную платформу. Столкнулся с рядом проблем, поскольку код писался под Linux. Было пару функций POSIX которые пришлось добавлять и Pthreads под Windows искать. Так что если кто-то не хочет мучиться бинарники под Windows (64 бит) в архиве (~350KB).

mysqladmin и Plesk

27 августа 2015 Нет комментариев

Дефолтный вызов не работет. Надо делать так:

mysqladmin -uadmin -p’cat /etc/psa/.psa.shadow’ pr

Categories: FAQ Tags:

Заказы в интернете

Минусы оплаты интернет заказов через пластик — чего-то из заказа в наличии нет и начинается… Сегодня такое случилось с Папа Джонс, пожалуй теперь только нал.

Categories: О жизни Tags:

Камеры в Москве и большой Москворецкий мост

Получил сегодня тестовый доступ к единой системе камер Москвы, всего их там 130000. Почти на всех подъездах домов стоят и более того работают в реальном времени картинку дают. Полез смотреть Большой Москворецкий мост — это там где Немцова убили. Выглядит это так:

Только одна камера смотрит на мост и в данный момент не работает. Вторая камера, та что вверху в реальности смотрит на Кремлевскую набережную. Так что место убийцами было выбрано идеально. В остальном по Москве это обычно выглядит обычно так или даже более плотно:

Categories: О жизни Tags:

Стационарный телефон

Отключил домашний телефон от МГТС. Причин много: не пользуюсь совсем, абонентка не зависит от разговоров минимум 205 р. в месяц, регулярно спамеры всякие звонят (в том числе само МГТС хочет меня на GPON переключить или инет предлагает дешевый). Последней каплей стало когда разбудили в 8 утра, и я понял что этот день настал.

Categories: О жизни Tags: