2 место в конкурсе «N+1 fish, N+2 fish»

31 октября 2017 Нет комментариев

Закончился конкурс от DrivenData: N+1 fish, N+2 fish. Удалось взять второе место.

Небольшое видео с результатами работы алгоритма

Как отладить нестандартную loss-функцию на Keras?

Основная проблема с Loss функцией — это проблема с выводом значений переменных внутри неё, она компилируется и затем выполняется на GPU, где никакой print не работает. Методика для отладки может быть следующая.

1) Создаем 2 numpy-массива, содаржащие TRUE и PREDICTED значения. Например:

2) Делаем стандартную Python функцию которая вычисляет на основе этих переменных Loss. Убеждаемся что она работает верно.

3) Пишем функцию для Keras с использованием бекенда и которая затем будет передваться как loss-функция в метод compile.

4) Вызываем numpy функцию и keras функции:

Убеждаемся что результат одинаков. Если нет правим ошибки.

Как я собирал комп для Deep Learning (год 2017)

21 апреля 2017 1 комментарий

Выиграв конкурс и получив призовые, встал вопрос о втором компе, который будет играть роль сервера для расчёта нейронных сеток. На своём 980 Ti с 6 GB памяти мне стало тесновато. И например на 3Д свёртках в задаче с раком лёгких я утыкался в лимиты. Да и при запуске расчётов работать за компом становилось не комфортно из-за тормозов интерфейса, да и Youtube особо не посмотришь.

Итак после небольшого изучения рынка и опыта товарищей по цеху, было принято решение собирать компьютер из 4 GPU. Для этого было выбрано 4 видео карты, 2 свежие NVIDIA 1080 Ti 11 GB + 1080 8 GB + 1070 8 GB. Две последние из-за относительной дешевизны. За это решение, впрочем, меня критиковали.

Сразу оговорюсь, что компы я собираю редко и не люблю тратить на это время. Плюс я не знаю много тонкостей в сочетании разных комплектующих. Поэтому я заказывал все комплектующие в одном месте вместе со сборкой. Артур (n01z3) мне посоветовал Регард. Я и до этого там покупал что-то из комплектующих, но не знал что они занимаются и сборкой, которая кстати бесплатная. К тому же у них шикарный конфигуратор: http://www.regard.ru/cfg  Там правда возможно выбрать только 2 видеокарты, но ещё 2 можно написать в комменте к заказу (что я и сделал).

Тонкости
1) Крайне мало материнских плат поддерживают 4 видеокарты, прежде всего из-за их размеров. Топовые видеокарты занимают сразу два слота.
2) Соответственно из-за больших размеров комплектующих лучше заказать корпус максимального размера. Я ориентировался на XL-ATX
3) В пике каждая видеокарта может потреблять более 250W, соответственно 4 это уже 1000W. Не забываем что энергию едят и другие устройства. Поэтому блок питания нужен минимум на 1200 W. Я взял с запасом на 1500 W.
4) Ожидаемо, что при таких потреблениях энергии всё это хозяйство будет сильно греться. Дополнительно в корпус я запихнул 4 вентилятора.
5) Для того что бы комп не вырубался при перепадах энергии я заказал UPS, который держит 1500W, мой стандартный начинал жалобно пищать от перегруза во время работы всех 4 карточек.
6) Изначально я решил не тратиться сильно на процессор, из-за того что одна и та же серия при небольшой казалось бы разнице в производительности может различаться по стоимости в разы. Однако для поддержки 4 видеокарт надо брать процессор с 40 линиями PCI, первый который я выбрал был только на 28.
7) У процессоров есть ограничение на количество поддерживаемой памяти. В моём ограничение было 64 GB (это я выяснил уже постфактум на этапе сборки), однако каким то чудом видно все заказанные 128 GB и я проверил их скриптом, что всё записывается и читается. Вообще я не уверен что для DL нужно 128 ГБ, потому-что я уже давно перешёл от модели зачитки всех изображений в память к работе с отдельными батчами, а там обычно много оперативной памяти не требуется. Batch Generator наше всё.

Читать далее…

Ubuntu vs новые видеокарты

20 апреля 2017 Нет комментариев

Возникла проблема с установкой Unubtu на новый компьютер с четырьмя NVIDIA GTX 1080 Ti. Шаги по установке:

1) Качаем образ из официального репозитория (я использовал 16.04): releases.ubuntu.com

2) Записываем на загрузочную флешку с помощью Rufus: rufus.akeo.ie

3) Загружаемся с флешки, на этом этапе возникли ошибки вида «NMI watchdog: BUG: soft lockup — CPU#0 stuck for 22s! [migration/0:9]» или «nouveau pfifo sched_error 08» — это как выяснилось проблемы с драйверами видеокарты.

Решение состоит из следующих этапов:

1) Совет как всё же начать установку найден здесь: https://ubuntuforums.org/showthread.php?t=2354834

Выбираем при загрузке «Установка Ubuntu» и жмём «e» на клавиатуре. Меняем строчку:

на

И жмём F10. Должен появится графический интерфейс, который даст установить Ubuntu. подробности по установке можно почитать здесь:
http://www.tecmint.com/install-ubuntu-16-04-alongside-with-windows-10-or-8-in-dual-boot/

2) После перезагрузки надо снова добавить «nomodeset vga=791» с помощью кнопки «e».

Если нет интернета (не видно Wi-Fi), ставим драйвера по этому гайду:

http://help.ubuntu.ru/wiki/broadcom

Теперь надо поставить последние драйвера для видеокарты. Жмём на экране «Ctrl + Alt + F3»  попадаем в терминал, выполняем

и ставим последние доступные вида «nvidia-367», в моём случае было:

Если всё поставилось успешно, то ребутимся

3) Если не получается войти в Ubuntu, после логина снова выкидывает на форму логина, то решение можно почитать здесь:

https://askubuntu.com/questions/223501/ubuntu-gets-stuck-in-a-login-loop

Categories: FAQ Tags:

Оптимизация изображений без потерь

16 апреля 2017 Нет комментариев

Свежий пост на Хабре: https://habrahabr.ru/post/326122/

И новый минисайтик: http://lossless-image-optimization.com

Categories: Ссылки Tags:

Немного итогов 2016 в области развлечений

Categories: Игры, Кино Tags:

Как запустить программу в Linux которая будет работать после выхода

1) Запустить программу «myprogram»
2) Нажать Ctrl+Z
~~~ [1]+ Stopped myprogram
3) Ввести команду (после процента номер который указан выше [1])
~~~ disown -h %1
4) Ввести (тот же номер):
~~~ bg 1
5) На экране появится [1]+ myprogram &

После выполненных действий можно смело выходить и программа продолжит работать.

Второй метод:
1) Создать новый screen и запустить программу там:
screen -S anyname

word2vec — бинарники под Windows x64

13 ноября 2015 Нет комментариев

Пришлось тут собрать себе word2vec под Windows на 64-х битную платформу. Столкнулся с рядом проблем, поскольку код писался под Linux. Было пару функций POSIX которые пришлось добавлять и Pthreads под Windows искать. Так что если кто-то не хочет мучиться бинарники под Windows (64 бит) в архиве (~350KB).

mysqladmin и Plesk

27 августа 2015 Нет комментариев

Дефолтный вызов не работет. Надо делать так:

mysqladmin -uadmin -p’cat /etc/psa/.psa.shadow’ pr

Categories: FAQ Tags:

Заказы в интернете

Минусы оплаты интернет заказов через пластик — чего-то из заказа в наличии нет и начинается… Сегодня такое случилось с Папа Джонс, пожалуй теперь только нал.

Categories: О жизни Tags:

Камеры в Москве и большой Москворецкий мост

Получил сегодня тестовый доступ к единой системе камер Москвы, всего их там 130000. Почти на всех подъездах домов стоят и более того работают в реальном времени картинку дают. Полез смотреть Большой Москворецкий мост — это там где Немцова убили. Выглядит это так:

Только одна камера смотрит на мост и в данный момент не работает. Вторая камера, та что вверху в реальности смотрит на Кремлевскую набережную. Так что место убийцами было выбрано идеально. В остальном по Москве это обычно выглядит обычно так или даже более плотно:

Categories: О жизни Tags:

Стационарный телефон

Отключил домашний телефон от МГТС. Причин много: не пользуюсь совсем, абонентка не зависит от разговоров минимум 205 р. в месяц, регулярно спамеры всякие звонят (в том числе само МГТС хочет меня на GPON переключить или инет предлагает дешевый). Последней каплей стало когда разбудили в 8 утра, и я понял что этот день настал.

Categories: О жизни Tags:

Сервисы такси для мобильника

26 февраля 2015 Нет комментариев

Тестил GetTaxi вчера. Раньше пользовался только Яндекс.Такси. Итак плюсы:
1) Возможность привязать кредитную карту и не платить водителю наликом
2) Более интересный интерфейс приложения. Выдает подробную статистику по водителю, фоточку, интересы, если хочется поболтать, количество отзывов и рейтинг.
3) Ведется история поездок, копится внутренний рейтинг по поездкам
4) Показывается сколько примерно времени ждать
5) Цена субъективно показалась ниже чем у Яндекса

Минусы:
1) Показалось что меньше машин доступно поблизости. Ждал дольше чем машины от Яндекса
2) Компания в отличии от Яндекса не наша — потраченное уйдет за рубеж

Что дальше? В целом разница не такая большая, но видимо временно перейду на GetTaxi.

Вообще в последнее время появились такие мысли, что если сервисы такси будут становится такими удобными, быстрыми и дешевыми, то можно будет вообще отказаться от машины или по крайней мере сократить её использование. На данный момент правда экономически выгоднее всё же ездить на своей машине. Единственное что напрягает это болтливые таксисты…. ) Я бы предпочел ездить в роботизированных.

Categories: О жизни Tags:

Музыка из American Horror Story

27 октября 2014 Нет комментариев

Начал смотреть 4 сезон American Horror Story. Услышал там внутри выступления Джессики Ланж. Подсел на песенки — впервые со мной такое в сериалах. Думаю нифига себе они там коспозиторов и авторов песен наняли. Пока качал её выступления выяснил, что это оказывется старые песенки Девида Боуи и Ланы Дел Рей, просто перепетые в сериале. ))

Ссылки на Youtube под катом
Читать далее…

Categories: Музыка Tags:

Интернет во Франции (сентябрь 2014)

6 сентября 2014 Нет комментариев

Одно из самых выгодных предложений по мобильному интернету от Lebara Mobile. Стоимость СИМки – 5 Евро, далее за 15 Евро покупаете пакет на 5 Гбайт. После покупки СИМки требуется через сайт или по телефону поддержки активировать её, указав свои данные ФИО и адрес. Мы смогли это сделать даже по русскому паспорту по телефону, просто продиктовав их на слух. Далее после покупки пакета за 15 Евро активируете его по телефону как: *133*код_с_чека*# «вызов». Появится сообщение что у вас теперь 5000 Мбайт интернета. Далее потребуется получить настройки шлюза в интернет. Я это сделал через их сайт здесь: http://lebarafr.tweakker.com/choose — выбираете свой телефон и приходит СМС с настройками. Итого 5 Гбайт инета за 20 Евро. Купить саму симку от Lebara можно в многочисленных магазинах по продаже сигарет.

Дополнительная инфа по другим операторам собрана здесь: http://prepaidwithdata.wikia.com/wiki/France (частично устаревшая).

Categories: FAQ, Путешествия Tags: