«Ночь Кандинского» в Третьяковской галерее на Крымском Валу
- year
- 2018
- type
- art
- tools
- openFrameworks, OpenCV, GLSL, Ableton Live, MIDI
- venue
- Tretyakov Gallery on Krymsky Val, Moscow
- description
- Official teaser for the Kandinsky Night special project: an audiovisual composition captured live from screen, where Ableton drives the scenario over MIDI and computer vision reads contours back out of the painting.
Работа над официальным тизером спецпроекта «Ночь Кандинского».
Данный тизер был выполнен в виде аудиовизуальной композиции, которая записывалась с экрана в реальном времени.
Использованные технологии : openframeworks, glsl, midi, opencv, ableton
Сценарий
Композиция в Ableton кроме аудиопотока управляет сценарием, посылая midi-сигналы
Звучание форм :: Трекинг
«Сама форма, даже если она совершенно абстрактна и подобна геометрической, имеет свое внутреннее звучание, является духовным существом с качествами, которые идентичны с этой формой».
Кроме управляющего сценария в инструменте для написания музыки, дополнительно существует обратная связь - анализируемая картина просит Ableton проиграть найденные контуры. Кратко: анализ картины компьютерным зрением, поиск форм в виде чб-контуров.
Инструментарий:
Так выглядит исходный код визуальной части. Уровень абстракции инструмента, с помощью которого достигается цель достаточно велик, не так много использовано готовых решений, работа сама по себе является этапом исследования и развития в этом направлении.
Найденные формы:
Словно иглой винилового проигрователя, проигрывание форм картины следует из анализа цвета конкретной точки (показано кружочками) и поиск областей с полученным оттенком
Движение цвета
Ниже приведена цитата из произведения Василия Кандинского касаемо «восприятия цвета». Смею заметить, что это не совсем области захватывающие синтестезию, и в этом я нахожу особую значимость его размышлений. Это скорей ближе к законам восприятия, которые очень вероятно окажутся равными для всех.
«Второго рода движение: желтого и синего, усиливающее первый большой контраст, есть их эксцентрическое или концентрическое движение.* Если нарисовать два круга одинаковой величины и закрасить один желтым, а другой синим цветом, то уже при непродолжительном сосредоточивании на этих кругах можно заметить, что желтый круг излучает, приобретает движение от центра и почти видимо приближается к человеку, тогда как синий круг приобретает концентрическое движение (подобно улитке, заползающей в свою раковину) и удаляется от человека. Первый круг как бы пронзает глаза, в то время как во второй круг глаз как бы погружается.»
Василий Кандинский «О духовном в искусстве»
Часть с движением цвета реализованно glsl шейдерами. Данная техника зачастую используется в компьютерных играх для анимации поверхности воды. Каждая точка цвета в данной карте это по сути вектор с направлением и инстенсивностью движения.
Была создана на c++ и openframeworks утилита, для рисования данных карт:
Утилита для работы с картами Flow Map: kandinsky_color_flow_0.1.zip дает результат:
А так же исходный код выложен в открытый доступ:
Работа является по сути результатом многочисленных экспериментов с анализом изображений, синтезом звука, описаных в проекте