«Отныне каждая кухарка может стать видеоинженером». В своё время, когда видео на персональных компьютерах не удавалось получить размера большего, чем со спичечный коробок, требовалось немало изворотливости, чтобы мотивированно писать об этом статьи в профессиональные журналы о кино и ТВ. Но усилия оказались не напрасны: корпорация Intel, лидирующая в мире ПК, наконец-то «встроила» их в индустрию профессионального кино и телевидения. С другой стороны, по мере популяризации видеотехнологий, владеть элементами кино- и телевизионного производства стало необходимым для многих владельцев ПК как в быту, так и в различных сферах бизнеса, науки и менеджмента.

Технологии, о которых пойдёт речь, еще не могут, разумеется обеспечивать качество изображения такое, как в плёночном кинематографе или в ТВЧ. Но вернёмся к аналогии со спичечным коробком: с того момента пройдено не менее половины пути к достижению высочайшего качества большеэкранного цифрового видео — о чем можно уверенно говорить, зная о ведущихся в корпорации Intel разработках.

На рис. 1 показано, как пользователь современного ПК может получать эффекты, известные в телевидении как «виртуальная студия». Но при этом, как видно из рисунка, не обязательно монотонно раскрашивать помещение, а экономия средств достигается не только за счет краски, но и за счет времени, которого требуется немало, чтобы приглашенные в студию персонажи научились ориентироваться в пространстве. Конечно, на момент презентации это был еще несколько «сырой» продукт, но, учитывая темпы его совершенствования, технические директора компаний (в том числе телевизионных) должны знать как о его первых версиях, так и о научной подоплеке его создания.

В конце минувшего года исследователи Intel объявили о выпуске пакета исходных кодов программ для реализации стереоскопического «компьютерного зрения», вошедших в библиотеку Open Sourse Computer Vision Library (OpenCV). Библиотека представляла собой инструментарий, насчитывающий более 500 функций обработки и анализа изображений для создания приложений компьютерного зрения — в том числе, средств взаимодействия человека с компьютером. С помощью двух компьютерных видеокамер (рис. 2) стало возможным получить не только изображение, но и данные о глубине объектов, что позволило создавать новые и расширять возможности существующих приложений для таких задач, как распознавание жестов, слежение за объектами, распознавание лиц. Информация о выходе новых программ была распространена нижегородским Центром разработки ПО корпорации Intel. Выпущенный пакет программ включает в себя дополнительный интерфейс, позволяющий импортировать функции библиотеки OpenCV в MATLAB — один из самых популярных пакетов для исследований и быстрой разработки прототипов программ.

За первый год с момента выпуска библиотеки OpenCV (где «Open» означает «распространяется свободно») её программный код загрузили более 76000 человек, а количество зарегистрированных членов группы пользователей превысило 2000. Благоприятный фон для этого создало то обстоятельство, что код (вместе с лицензией) имеет право загрузить любая организация, в том числе коммерческая, чьи продукты также могут распространяться с этим кодом. По динамике загрузок библиотеки можно сделать вывод, что в дальнейшем ей будет уделено еще большее внимание Центра разработок ПО Intel в Нижнем Новгороде, где сосредоточена основная часть разработчиков OpenCV В этом центре, основанном в 2000 г.. сейчас трудятся до 200 (и ожидается увеличение штата до 500) специалистов по вычислительной математике и инженеров, работающих в таких «видеонаправлениях», как компьютерная графика, машинное зрение. мультимедиа. Так что для российских кинематографистов и телевизионщиков было бы очень привлекательным сотрудничество с нижегородским Центром, среди достижений которого, например, такая технология.

На рис. 3 — один из примеров применения OpenCV: движения человека дублирует фигурка на экране компьютера, а уже движения этого дублёра воспроизводит анимированный персонаж. Захват движения происходит в реальном времени посредством обсчета изображений, получаемых от 3—5 видеокамер. Системы захвата движения применяются в киноиндустрии для игровой анимации когда, в частности. используются облегающие кибер-костюмы с многочисленными датчиками на ключевых суставах. Возможно применение кинематики с магнитными сенсорами, сообщающими информацию о вращении суставов. Съём информации для захвата движения может быть также оптическим — с отражающих маркеров на теле актёра.

Всё это. помимо того, что громоздко, еще и дорого, особенно для малых студий: порядок цен на подобные комплексы — 50— 150 тыс. долл. Очевидно, что интеловская разработка, когда станет «коробочным» продуктом, будет намного доступнее — и по цене, и в инсталляции.

Следующее применение OpenCV, иллюстрацией которого служит рис. 4 — распознавание жестов — для нашего журнала представляет особенный интерес, поскольку оно обсуждалось в «ТКТ» еще в 1999 г.: № 6. статья «О роботизации анализа материалов видеосъёмки» (в разделе AVR «Видеонаблюдение»). Там есть ссылка на исследователей, установивших, что в среднем передача информации при общении происходит за счет непосредственно слов только на 7%, за счет личностных звуковых средств (интонация и т. п.) - на 38%, за счет невербальных звуковых средств (жесты, мимика, телодвижения" - на 55%. Один из этих исследователей написал книгу "Body Language" ("Язык телодвижений"), отождествлявшую сущность или намерения человека с его жестами и телодвижениями, как преднамеренными, так и непроизвольными. Это обстоятельство важно для правоохранительной деятельности, как и обстоятельство, связанное со скрытой съёмкой "людей, похожих на...". Сегодня материалы такой видеосъёмки имеют слабую доказательную силу, поскольку основаны на опознании внешности людей, а внешность - нечеткий критерий: её легко имитировать при помощи грима или двойника. Другое дело - жесты и телодвижения: их имитировать нелегко даже профессиональным актёрам и поэтому роботизация их распознавания имеет большую практическую ценность. Так, система на основе OpenCV по-разному реагировала на три типа жестов, фиксируя при этом момент смены жеста и характер движения кисти руки, что отражалось на гистограмме.

Рискнём предположить, что одним из ответвлений данного исследования станет распознавание смысла взглядов. Язык взглядов, а также сопутствующих им подмигиваний и прищуриваний - давний инструмент человеческих взаимоотношений: настолько, что в 1998 г. парламент Танзании принял "Билль о специальных оскорблениях". согласно ему, нескромный взгляд, обращенный на женщин, оценивается в год тюрьмы или крупный штраф, подмигивание девушке - в 5 лет тюрьмы, а за подобные троекратные поступки в течение дня грозит пожизненное заключение. Это, возможно, перебор, но есть и экономическая мотивация - ей было посвящено исследование в "ТКТ" #11 за 1999 г.: статья о системах видеонаблюдения, способных перехватывать направления взглядов в целях оценки зависимости трудовых показателей от взаимоотношений внутри трудового коллектива (служебные романы и т. п.).

В статье "Виртуальный секретариат", где рассказывалось о технологиях распознавания русской речи, упоминалось, что повышенная сложность этого процесса требует дополнительного инструментария. Например, распознавания мимики лица, способной придать словам дополнительное (порой, противоположное) значение. При помощи OpenCV получены практические результаты в ходе эксперимента по отслеживанию элементов лица в пространстве. Система чутко реагирует на нюансы мимики и существенную роль в её работе играет отслеживание не только элементов, но и самого лица в пространстве: она "захватывает" лицо конкретного человека и сопровождает его (лицо) всё то время, пока его обладатель пытается затеряться в группе других людей.

Вообще-то, когда представишь, что данная функция будет доведена до совершенства и электроника научится распознавать речь по одному только движению губ, вспоминается удар глухонемого в к/ф "Щит и меч". Однако, ничего страшного в том прецеденте нет: если каждый грубиян будет благодаря технологии визуального распознавания речи точно так же подвергаться перевоспитанию, общий культурный уровень человечества быстро вырастет. Но всё же, если воспользоваться для аналогии примерами из фильмов "Щит и меч" и "Профессия - следователь", где чтение речи по губам было связано со спеццелями, придётся согласиться, что ПО визуального распознавания речи найдёт массовое применение не в качестве самостоятельного, а будучи интегрированным в ПО звукового распознавания речи.

Существует определение: "Язык - это диалект, располагающий армией и флотом". Сегодня уже можно добавить - "и технологией аудиовизуального распознавания произносимой на нём речи". Потому что те народы, которые не создадут для своего языка массовые устройства AV-распознавания речи, перейдут в разряд туземных племён с вымирающими диалектами. Известны прогнозы, что к концу XXI века мировой речевой рынок будет поделён примерно между 10 самыми сильными языками - как в своё время мировой церковный рынок был поделён группой самых сильных религий. При этом отдельные пророки не называли русский язык в числе имеющих шанс выжить. Теперь, в связи с разработкой средств AV-распознавания русской речи, эти пророчества аргументированно опровергнуты. Даже чисто арифметическая оценка показывает, что русский язык будет одним из лидирующих, располагая одним из крупнейших в мире ресурсов в виде богатейших литературы, театра, музеев, архивов. А вот некоторым постсоветским странам, чтобы не упасть в каменный век, придётся учиться говорить по-русски. Тут и понадобится комплексная роботизация распознавания мимики и жестов, которые у различных народов могут придавать различный смысл одной и той же произнесённой фразе.

В "ТКТ" № 7 за 1998 г. исследовалась проблема организации ТВ-съёмок концертов, спектаклей, чемпионатов и т. п. без участия ТВ-операторов. И если уже тогда реализация подобного варианта являлась технически возможной, то теперь, когда есть OpenCV, можно подумать о том, как обойтись не только без ТВ-операторов, но и без ТВ-режиссёров (без "режоперов" - к слову о распознавании кинотелевизионного сленга). Пример того, как технология OpenCV уже сравнялась по уровню интеллекта с рядом ТВ-режиссёров - цитата из "Мегаполис-Экспресс" от 17.03.93 г.

Член Верховного Совета России Николай Павлов наглядно опроверг постоянные жалобы коллег-депутатов на телевидение, которое якобы не хочет показывать их народу. "Это зависит от нас самих", - убеждённо сказал Павлов и пообещал, что сегодня же вечером он будет звездой экрана. Сделав это заявление, народный избранник поглубже погрузился в кресло, запрокинул голову - борода в потолок, смежил веки и расслабился. Сеанс релаксации продолжался минут 10-12, этого вполне хватило, чтобы в вечерних информационных программах отдыхающий на сессии парламентарий прошел крупным планом. Наутро коллеги ему шумно завидовали. "Запомните, - наставлял их Николай Александрович, - если сидеть с умным лицом, ни в жизнь не покажут".

Ровно то же самое способна выдать в эфир система распознавания лиц, произведя идентификацию именно таких положений головы и состояния лица, какие были у депутата, отнести их в разряд "необычных" и произвести ТВ-трансляцию с помощью автоматизированной дистанционно-управляемой системы парламентского телевидения типа Microswift 200. Она была установлена в 1998 г. в новом здании австралийского федеративного парламента и способна автоматически, быстро и плавно направлять камеру на любого члена парламента в палате или в зале заседаний комитетов до того, как они начнут говорить, идентифицируя при этом данного парламентария.

И всё же есть более близкое к жизни применение OpenCV - если обратить внимание на то, что депутат Павлов изобразил, по существу, не себя, а свою посмертную маску. Эволюция посмертных масок шла к логическому финалу: от сверхдорогих золотых для фараонов и гипсовых для более доступной элиты (Пушкина и др.) - а теперь и каждому по карману будет это удовольствие, если применить OpenCV. Гипсовую маску нужно хранить в особых условиях (в музее, например), а для электронной достаточно дискеты. Это особенно важно при создании картотеки неопознанных трупов, где стереоскопический файл заменит целую серию приметозапечатлевающих снимков трупа: в фас. в профиль, в 3/4 справа и слева. Да и вообще, в нашей стране прогрессирующего гуманизма самое актуальное занятие - это предъявление трупа для опознания. Если кто не знает, тут трудность вот в чем: существенной особенностью предъявления трупа для опознания является то, что предъявляется лишь один труп; предъявление трупа вместе с другими трупами (как в случае с живыми подставными) не допускается. Это снижает эффективность освидетельствования, особенно когда на лице трупа имеются обширные повреждения мягких тканей, которые надлежит предварительно зашить и замаскировать - что зачастую проблематично. В случае же электронной стереоскопической посмертной маски повреждения лица можно устранить средствами компьютерной графики, а затем и всему лицу придать "живой" вид. В криминалистике компьютерное зрение на основе OpenCV заменит сразу два вида судебной фотографии:"стереоскопическую", применяемую для наглядного представления о форме и расположении объектов в пространстве, и "метрическую", применяемую для определения по снимкам размеров объектов и расстояния между ними. Оба способа требуют специального оснащения и своих методик для каждой ситуации: скажем, съёмка трупа, находящегося в сидячем положении, вдвое сложнее, чем трупа. находящегося в висячем положении. Применение же OpenCV устранит как эти сложности, так и другие: например, когда снимают расчленённый труп, полагается сначала заснять части по отдельности, а затем совместить их и снова заснять. Очевидно, что подобное совмещение лучше осуществлять методом 3D-монтажа.

Было бы упущением, рассматривая вопросы стереоскопического компьютерного зрения - то есть, фактически, стереоскопической съёмки, не задуматься о стереоскопическом воспроизведении - то есть, стереоскопической проекции. Теперь есть возможность составить из этих двух взаимодополняющих вещей то самое единое целое, критическая масса которого произведёт технологический взрыв.

На рисунке показана работа сегментации фона в задаче распознавания жестов дирижера. Этот пример удачен тем, что дирижер, вкупе с сидящим перед ним хором, являет собой классическую модель трёхмерного кинематографа, уже реализованную на практике. В этой модели зрители (то есть, оркестранты либо хористы) под действием бинокулярных факторов воспринимают изображение (в нашем случае - дирижера) как трёхмерное, находясь каждый в своей зрительской зоне с возможностью в некоторых пределах менять своё положение. Исследования в области трёхмерного кинематографа в нашей стране застопорились из-за отсутствия ясно сформулированного бизнес-плана. В деле же внедрения трёхмерной проекции в сферу виртуальных управленцев задачи поставлены более четко и пример тому - дирижеры, которые есть прежде всего управленцы (произойдя от французского diriger - управлять).

Глядя на элементы дирижерского волюнтаризма к к/ф "Волга-Волга" и "Весёлые ребята", многие решили, что эти фильмы - комедии. На самом же деле эти киноленты исполнены глубокого драматизма: там показано истинное лицо многих знаменитых дирижеров, которые наедине с подвластными им музыкальными коллективами ведут себя еще разнузданнее (кадр из "Ширли-мырли")

.Считается, что в характере и стиле дирижирования отражаются особенности личности дирижера, понимание им музыкального произведения. Но в действительности чаще всего имеет место диктатура: дирижер для исполнителей - это больше, чем Бог. Тот, по крайней мере, не навязывает своё присутствие, когда руководит церковью, а этот встанет напротив и испепеляет взглядом затравленных музыкантов. Конечно, дирижер скажет, что ему надо видеть исполнителей. А надо ли это хору и оркестру? Существует понятие "оркестротека" - комплект обязательных и дополнительных партий, исполняемых в зависимости от конкретных условий работы оркестра. И, коль скоро есть такой элемент стандартизации, его логично дополнить схемами вышеупомянутых "зрительских зон", где должны находиться исполнители, чтобы непосредственно к ним обращался виртуальный дирижер (воссозданный способом трёхмерной проекции), а также доступом к глобальной библиотеке самих виртуальных дирижеров, клонированных путём многоракурсной съёмки лучших живых дирижеров. Потому что мейнстрим преодоления кризиса мировой музыкальной культуры в том, чтобы дать возможность любому исполнительскому коллективу (от большого симфонического оркестра до маленькой рок-группы) самому выбрать себе в помощники понравившегося дирижера (капельмейстера, хормейстера и т. п.), точнее, его послушный дубль, и работать с ним в удобном им режиме. Тут и проявит себя технология распознавания мимики и жестов, которые, согласно определению, и есть инструментарий дирижеров.

Обнаруженный нами кризис мировой музыкальной культуры - это зловещий симптом того, что эволюция самого человека зашла в тупик и ему (человеку) уже не суждено стать "существом, достигшим состояния высшего совершенства" то есть, Буддой, поскольку в буддизме даётся именно такое определение. После того, как ученые открыли, что генетически человек от обезьяны отличается не более, чем на 1%, все задумались: а что же в течение всх минувших тысячелетий развивалось в рамках этого одного процента? Видимо, не разум и, конечно, не инстинкты - они, в массе, остались на уровне гиббонов и бабуинов. Единственное, что по существу отличает человека от обезьяны - это ловкость рук. Значит, качество должно перейти в количество и человеку нужно добавить еще хотя бы одну руку: в тех же буддистских делах у Шивы и Брахмы по четыре руки и теперь понятно почему.

С помощью OpenCV, отслеживающей положение лица или головы, человек может создать себе нечто вроде третьей руки, которая, пока две настоящие руки заняты (держа боевое оружие, хирургические инструменты и т. п.) будет решать параллельные задачи. Таким образом, если у кого-то лицо или даже голова - не самые эффективные части организма, их, конечно, лучше использовать в качестве "третьей руки", чтобы, в частности, достичь нирваны: которая в буддизме как раз и означает "состояние несвязанности личности внешним миром".

В иллюстрациях к OpenCV показан этап калибровки камеры: клетчатая доска позиционируется в разных ракурсах и на различных расстояниях от камеры и компьютер фиксирует "искажения" - то есть, отличия от какого-то статичного состояния фронтально расположенной к камере поверхности. Здесь налицо связь с исследованиями в области искусственного интеллекта: комната, в которой производится калибровка видеокамеры может быть представлена как "фрейм Минского", предложенный этим ученым как раз в рамках решения задачи визуального распознавания. Фрейм в данном случае понимается как описание ролевой структуры ситуации, где пол, потолок, стены и пр. назначаются на роли объектов. Между элементами ролевой структуры существуют топологические отношения, описываемые специальными языками. Из объектов, описываемых фреймом, при решении той или иной задачи выделяется существенная для данной задачи часть - например, виртуальный офис-менеджер (как экспертная система - о чем идёт речь в статье "Виртуальный секретариат"). Дело в том, что придётся столкнуться с тем, что виртуальные офис-менеджеры, компьютерные ТВ-ведущие и т. п. персонажи, будучи ограниченными рамками плоского экрана, начнут вызывать у клиента ощущение дискомфорта: из живописи известно, что рамка не только помогает смотреть на портреты, но и искажает их восприятие. Искусству нужна клетка (фрейм в данном случае), чтобы оно стремилось из неё выйти - поэтому кардинальным технологическим направлением станут движущиеся виртуальные персонажи.

Придя к выводу о приоритетности режимов движения, мы прикоснулись к сути компьютерного зрения, а именно: если уж употреблять понятие "зрение", то оно должно в максимальной степени приближаться к человеческому. Человеческий глаз - это, действительно, парный (коль скоро здесь рассматривается стереоскопическое компьютерное зрение) орган, состоящий из глазного яблока (видеокамеры как бы), соединённого зрительным нервом (интерфейсом USB) с мозгом (компьютером), но также и из вспомогательного аппарата - глазодвигательных мышц, век и слёзных желез. Веки и слёзные железы оставим на потом, когда роботы полностью станут человекоподобными, но вот что касается глазодвигательных мышц, то исполнение практически всех рассмотренных выше функций OpenCV может потребовать, чтобы сама стереовидеокомпьютерная система могла совершать движения, имитировать камерами "вращение глазами", стабилизировать направление "взгляда" при колебательных движениях камерной системы и пр. - то есть, делать всё то, что сегодня уже могут профессиональные телевизионные и кинокамеры. Поэтому, учитывая, что системам на основе OpenCV придётся работать со всё более сложными и качественными видеокамерами, мы провели обзор выпускаемых современной промышленностью электронно-механических устройств, имитирующих работу человеческого глазного аппарата:

- головки панорамирования/наклона с коробками передач, способными поддерживать стабильное положение при сильном ветре;

- устройства слежения за камерой в условиях виртуальных студий, когда при перемещении камеры определяются положение и установки её объектива;

- сервосистемы для объективов, позволяющие мгновенно увеличивать и уменьшать масштаб между любыми двумя положениями;

- камерные головки, обеспечивающие плавность движения во всём диапазоне углов благодаря универсальному противовесу;

- механизмы панорамирования/ наклона на основе сервомоторов постоянного тока, обеспечивающие бесшумное движение в широком диапазоне скоростей.

Некоторые из перечисленных систем в обиходе уже так и названы - "роботизированные". И опять есть аналогия с организмом человека - с его опорно-двигательным аппаратом, проявившаяся в обилии систем жидкостного типа: жидкостные системы протягивания, жидкостные головки в системах удержания камеры, жидкостные подшипники в панорамных головках. Кроме того, возрастает применение прецизионных устройств и усовершенствованных конструкционных материалов: контроль функций защиты от воздействия окружающей среды, калиброванное управление движением узлов, гиростабилизаторы, волокнистый углепластик для штативов, роликовые подшипники для работы в тяжелых режимах. Конечно, в силу своего кинотелевизионного происхождения перечисленная электромеханика в целом излишне габаритна для перспективных робототехнических агрегатов, однако, по мере формирования рынка таких агрегатов конструкторы смогут достичь необходимого уровня микроминиатюризации. А. П. Барсуков, журнал "ТКТ" №№ 3-4, 2002 г.