?

Log in

No account? Create an account

December 27th, 2015 - У Вас замечательный сайт, но его можно сделать еще лучше. — LiveJournal

December 27th, 2015

December 27th, 2015
11:10 am
Еще раз про цвет из чб
Недавно я писал про технологию восстановления цвета из черно-белых изображений (http://tema.livejournal.com/2121586.html). Хотя все было похоже на шарлатанство (и обычную колоризацию в фотошопе), мне хотелось, чтобы технология оказалась правдой.

Многие читатели, знакомые с моим материалистическим и скептическим подходом, высказали в личной переписке ряд замечаний в духе "не охуел ли ты, Темыч, рекламировать всякую шнягу?". В качестве убедительного примера они приводили цитату с сайте Ильи Смирнова: "мы восстанавливаем цвет, используя законы физики". Мол, если бы у Ильи было описание этих законов, он бы обязательно намекнул, о чем речь.

А потом обнаружилась очень любопытная научная работа с описанием алгоритмов колоризации и восстановления цвета из чб - http://www.cs.cityu.edu.hk/~qiyang/publications/iccv-15.pdf. Я в этот момент как раз переписывался со своим братом Алексеем на тему жульничества метода Смирнова. И мой брат выдал рецензию, которую я хочу привести целиком, чтобы закрыть дискуссию:

Ну, а это - нормальная статья нормальных людей (главный, по-моему, Dr. Yang, Qing-Xiong - http://www.cs.cityu.edu.hk/~qiyang/). Только у них страницы дальше первой не пронумерованы.

На 5й странице наши китайцы соревнуются с другими китайцами в раскрашивании храма Василия Блаженного.

Делается это так: в каждом пикселе черно-белой картинки вычисляется 128 чисел, потом по ним находятся 2 числа (U,V), описывающих цвет. Получаем Y,U,V, искомая картинка дала Y.

Функцию, которая из 128 чисел дает 2, мы тренируем при помощи нейронной сети на 2688 цветных фотографиях, в которых цвет, а стало быть ответ на задаваемый вопрос, известен.

128 чисел в каждом пикселе вычисляются так:

49 чисел -- кусочек чб картинки 7 на 7 вокруг этого пикселя, называется patch.

32 числа -- DAISY -- это алгоритм 2008 года, изначально придуманный для стерео вот этими людьми:
Engin Tola, Vincent Lepetit, Pascal Fua
(http://cvlab.epfl.ch/software/daisy).
DAISY не сокращение, хоть и пишется прописными. Просто алгоритм собирает информацию из области данного пикселя, по форме напоминающей одуванчик.

47 чисел -- алгоритм Semantic Segmentation (arXiv:1411.4038), опубликованный в марте 2015 года. Jonathan Lonf, Evan Shelhamer -- студенты, Trevor Darrell -- профессор (http://www.eecs.berkeley.edu/~trevor/).
Алгоритм для данного пикселя говорит, насколько его область соответствует разным семантическим категориям (трава, машина, лицо, и.т.д)

Получив Y,U,V, удаляем цветной шум (он хорошо виден на небе в картинке (с)+DAISY на 5 странице). Этот шаг, "Chrominance Refinement", использует алгоритм Joint Bilateral Filter из "Digital photography with flash and no-flash image pairs" (http://research.microsoft.com/en-us/um/redmond/projects/flashnoflash/).
Один из соавторов -- Хугуус Хоппе, которого я знал 19 лет назад, занимаясь тогда триангуляциями.

Название статьи "deep colorization" получается из "deep neural networks" (т.е. multi-layer, more than one layer between input and output). Это та самая функция, которая из 128 чисел даёт 2. Это, конечно, суп, сваренный из самых разных ингредиентов. Ни один из 4 основных примененных алгоритмов не принадлежит непосредственно авторам. Они, правда, придумали использовать именно эти четыре из тысяч имеющихся.

На самом деле, иначе и быть не могло. Проблема раскрашивания не однозначна, и в общем случае не решается даже искуственным интеллектом (однородное серое поле могло быть любого цвета). Ребята молодцы и придумали кучу эвристик.

Глубина проделанной работы впечатляет: 3 исследователя первого уровня, 15 второго уровня, хуй знает сколько третьего. И все в открытую.

А
Так что все возможно. Главное - быть на правильной стороне.

Сверху - то, что было скормлено алгоритму, в центре результат раскраски, снизу - настоящее цветное изображение.



Жду, когда появится веб-сервис, выдающий цвет в ответ на загруженную чб-фотку. Мне есть, что ему подсунуть.

Tags: , , , , , ,

TimeEvent
03:15 pm
Результаты конкурса видеотрейлеров студийных товаров
Не прошло и двух лет!

Объявляются результаты конкурса видеотрейлеров (http://tema.livejournal.com/1477158.html).


Первое место: любые десять разных студийных товаров стоимостью до 20 000 руб. (реклама Розеткуса, http://store.artlebedev.ru/electronics/rozetkus/#51781)




Второе место: любые восемь разных студийных товаров стоимостью до 15 000 руб. (реклама "Космических захватчиков", больше нет в продаже.)




Третье место: любые шесть разных студийных товаров стоимостью до 10 000 руб. (реклама многопользовательского "Тетриуса", http://store.artlebedev.ru/kitchen/magnets/tetrius-multiplayer/)




Поощрительные призы: любые студийные книги на усмотрение высочайшего жюри (авторам предлагаются две любые студийные книги стоимостью до 1500 руб.).



И




Поздравляем победителей.

Для получения призов необходимо написать Юлии Хорошевой на horosheva@artlebedev.ru.

Tags: , , , , , , ,

TimeEvent
07:00 pm
Фотки с юбилея


Фотографии с нашей юбилейно-новогодней вечеринки.









































Фотограф - прекраснейшая Мария Плотникова, http://mplot.livejournal.com

Tags: , ,

Previous Day 2015/12/27
[Calendar]
Next Day


samiznaetekto.ru Powered by LiveJournal.com