Оригінал статті доступний на www.cs.columbia.edu.

Карл Вондрік, Адітья Хосла, Хамед Пірсіаваш, Томаш Малісьевіч , Антоніо Торральба

Массачусетський Технологічний інститут

Усний виступ на ICCV 2013

Ми вводимо алгоритми візуалізації просторів, використовуваних детекторами об’єктів. Інструменти в цій статті дозволяють людині надіти « HOG окуляри» і сприймати візуальний світ, оскільки детектор об’єктів на HOG-основі бачить його.

Ознайомтеся з цією сторінкою для кількома нашими експериментами і прочитайте нашу статтю для отримання повної інформації. Код доступний для створення власних візуалізацій.

Загальне уявлення

У цьому проекті представлені інструменти візуалізації просторових об’єктів. Оскільки більшість просторових об’єктів надто багатовимірні для безпосереднього огляду людьми, ми представляємо алгоритми інвертування дескрипторів об’єктів назад в природне зображення. Ми виявили, що ці інверсії забезпечують точну і інтуїтивно зрозумілу візуалізацію дескрипторів об’єктів, зазвичай використовуваних при виявленні об’єктів. Нижче ми покажемо приклад візуалізації для HOG:

Чому мій детектор не працював?

Нижче ми покажемо виявлення високої оцінки від детектора об’єктів з функціями HOG і лінійним класифікатором SVM, тренованим на PASCAL. Чому наш детектор вважає, що морська вода схожа на машину?

Наші візуалізації дають пояснення. Нижче ми покажемо висновок нашої візуалізації про функції HOG для помилкового виявлення автомобіля. Ця візуалізація показує, що, хоча у вихідному зображенні явно немає автомобілів, в дескрипторі HOG ховається автомобіль.

Функції HOG бачать трохи інший візуальний світ, ніж те, що бачать люди, і, візуалізуючи це простір, ми можемо отримати більш інтуїтивне розуміння наших детекторів об’єктів.

Візуалізація верхніх виявлень

Ми візуалізували деякі високі скорингові виявлення з моделі деформованих деталей. Чи можете ви здогадатися, які сигнали помилкові? Натисніть на картинки нижче, щоб розкрити відповідний RGB-патч. Ви напевно будете здивовані!

Що бачить HOG?

Інверсія HOG показує світ, який бачать детектори об’єктів. Зліва зображена людина, що стоїть в темній кімнаті. Якщо ми обчислимо HOG на цьому зображенні і інвертуємо його, раніше темна сцена виникне позаду людини. Зверніть увагу на структуру стіни, ліхтарний стовп і стілець в правому нижньому кутку.

Для получения визуализации Eye Glass перейдите по ссылке.

Візуалізація вивчених моделей

Наші інверсії дозволяють візуалізувати вивчені об’єктні моделі. Нижче ми покажемо кілька моделей деформованих деталей. Зверніть увагу на структуру, яка з’являється при нашій візуалізації.

Перший ряд: автомобіль, людина, пляшка, велосипед, мотоцикл, вазон. Другий ряд: поїзд, автобус, кінь, телевізор, стілець.

Відновлення Кольору

Поки у нас тільки інвертована реконструкція сірого. Чи можемо ми взяти зображення кольору також?

Додаткові інверсії кольору див. сторінку Чи захоплює HOG кольори?

Код

Ми випустили швидку і просту функцію MATLAB invertHOG () для інвертування функцій HOG. Використання її доволі просте:

>> feat = features(im, 8);
>> ihog = invertHOG(feat);
>> imagesc(ihog);

Вищевикладене має інвертувати будь-яку функцію HOG розумного розміру менш ніж за секунду на сучасній настільній машині.

Щоб отримати код, ви можете перевірити наш репозиторій Github. Установка проста, але не забудьте прочитати файл README.

HOGgles

Якщо ви прийшли відвідати нашу лабораторію, не забудьте перевірити нашу інтерактивну демонстрацію HOGgles!

Учасники всередині чорного ящика можуть бачити тільки нашу візуалізацію зовнішнього світу, коли вони намагаються переміщатися по навколишньому середовищу. Як добре ви можете бачити в HOG просторі?

Посилання на літературу

Якщо ви використовуєте цей інструмент у своєму дослідженні, будь ласка, залиште посилання на наш документ ICCV 2013:

Карл Вондрік, Адітья Хосла, Хамед Пірсіаваш, Томаш Малісьевіч, Антоніо Торральба «HOGgles: Візуалізація функцій виявлення об’єктів» (HOGgles: Visualizing Object Detection Features) Міжнародна конференція з комп’ютерного зору (ICCV), Сідней, Австралія, грудень 2013 року.

@article{vondrick2013hoggles,
  title={{HOGgles: Visualizing Object Detection Features}},
  author={Vondrick, C. and Khosla, A. and Malisiewicz, T. and Torralba, A.},
  journal={ICCV},
  year={2013}
}

Подяка

Ми хочемо подякувати Джозефу Ліму (Joseph Lim) і всій групі комп’ютерного зору MIT CSAIL за їх корисні коментарі та пропозиції, які допомогли вести цей проект.

Посилання на літературу

  • Н. Далал і Б. Трігс. Гістограми орієнтованих градієнтів для виявлення людиною. (N. Dalal and B. Triggs. Histograms of oriented gradients for human detection. CVPR, 2005.)
  • П. Вейнзаепфел, Кс. Жегу, і П. Перез. Відновлення зображення з його локальних дескрипторів. (P. Weinzaepfel, H. Jegou, and P. Perez. Reconstructing an image from its local descriptors. In CVPR, 201)
  • Е. Д’анджело, А. Алахі, і П. Вандергейнст. По той бік бітів: відновлення зображень з локальних двійкових дескрипторів. (E. d’Angelo, A. Alahi, and P. Vandergheynst. Beyond Bits: Reconstructing Images from Local Binary Descriptors. ICPR 2012.)