Новости

Просмотр записей в категории habrahabr

Анализ таблиц маршрутизации, или зачем ещё сетевому инженеру Python

https://habr.com/post/414043/
  • Сетевые технологии
  • Ненормальное программирование
  • Python


Hello Habr! Эта моя первая статья на Хабре, и родилась она из вопроса на одном из профессиональных форумов. Выглядел вопрос, несколько перефразируя, следующим образом:

Kaggle: Amazon from Space — трюки и хаки при обучении нейросетей

https://habr.com/company/ods/blog/413667/
  • Обработка изображений
  • Машинное обучение
  • Алгоритмы
  • Python
  • Блог компании Open Data Science




Летом прошлого года закончилось соревнование на площадке kaggle, которое было посвящено классификации спутниковых снимков лесов Амазонки. Наша команда заняла 7 место из 900+ участников. Не смотря на то, что соревнование закончилось давно, почти все приемы нашего решения применимы до сих пор, причём не только для соревнований, но и для обучения нейросетей для прода. За подробностями под кат.

tldr.py

import kaggle
from ods import albu, alno, kostia, n01z3, nizhib, romul, ternaus
from dataset import x_train, y_train, x_test

oof_train, oof_test = [], []
for member in [albu, alno, kostia, n01z3, nizhib, romul, ternaus]:
   for model in member.models:
       model.fit_10folds(x_train, y_train, config=member.fit_config)
       oof_train.append(model.predict_oof_tta(x_train, config=member.tta_config))
       oof_test.append(model.predict_oof_tta(x_test, config=member.tta_config))

for model in albu.second_level:
   model.fit(oof_train)
   y_test = model.predict_proba(oof_test)

y_test = kostia.bayes_f2_opt(y_test)
kaggle.submit(y_test)

Описание задачи

Planet подготовила набор спутниковых снимков в двух форматах:

  1. TIF — 16 bit RGB + N, где N — Near Infra Red
  2. JPG — 8bit RGB, которые производные от TIF и которые были предоставлены для уменьшения порога входа в задачу, а также для упрощения визуализации. В предыдущем соревновании на Kaggle, необходимо было работать с мультиспектральными изображениями. невизуальные, то есть инфракрасный, а также каналы с большей длиной волны очень сильно улучшали качество предсказания, причем как сети, так и unsupervised методы.

Географически данные были взяты с территории бассейна реки Amazon, и с территорий стран Brazil, Peru, Uruguay, Colombia, Venezuela, Guyana, Bolivia, and Ecuador, в которых были выбраны интересные участки поверхности, снимки с которых и были предложены участникам.

После того, как из tif создавались jpg, все сцены резались на мелкие куски размером 256x256. И по полученным jpg силами работников Planet из Берлинского и Сан Францисского офиса, а также через платформу Crowd Flower, производилась маркировка.

Перед участниками ставилась задача для каждого 256x256 тайла предсказать одну из взаимоисключающих погодных меток:

Cloudy, Partly cloudy, Haze, Clear

А также 0 или более непогодных: Agriculture, Primary, Selective Logging, Habitation, Water, Roads, Shifting Cultivation, Blooming, Conventional Mining

Итого 4 погодных и 13 не погодных, причем погодные взаимоисключающие, а непогодные нет, но при этом если на картинке метка cloudy, то других меток там не должно быть.



Точность модели оценивалась по метрике F2:

$Score=(1+\beta^2)\frac{pr}{(\beta^2p + r)}$

Про рынок ИТ в России по-честному

https://habr.com/post/413819/
  • Управление персоналом
  • Карьера в IT-индустрии

Стрелочные функции VS Обычные функции

https://habr.com/post/413953/
  • JavaScript

Топ 8 лучших ресурсов для практики программирования в 2018

https://habr.com/post/414009/
  • JavaScript

Последние записи

Архив

2018
2017
2016
2015
2014

Категории

Авторы

Ленты

RSS / Atom