Исследования и разработка новой цифровой портативной фото/видео аппаратуры для панорамной съемки

Номер Соглашения о предоставлении субсидии: 14.581.21.0003

Руководитель: д.т.н., профессор И.С. Константинов

Приоритетное направление: Информационно-телекоммуникационные системы

Критическая технология: Технологии информационных, управляющих, навигационных систем

Период выполнения: 29.09.2014- 31.12.2016

Плановое финансирование проекта: 453.00 млн. руб.

• Бюджетные средства 290.00 млн. руб.,
• Внебюджетные средства 163.00 млн. руб.

Исполнитель: Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Белгородский государственный национальный исследовательский университет»

Индустриальный партнер: ОАО «Красногорский завод им С.А. Зверева», Россия

Ключевые слова: Регистрация изображений, машинное зрение, панорамные изображения, сжатие изображения, панорамное видео в реальном времени, масштабируемая цифровая камера.

Текущие основные результаты проекта:

I этап

В ходе выполнения проекта по Соглашению о предоставлении субсидии от 20.09.2014 № 14.581.21.0003 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на этапе № 1 в период с 29.09.2014 по 31.12.2014 выполнялись следующие работы:

• проведение аналитического обзора информационных источников, обоснование и выбор направлений исследований;
• выполнение адаптации, поддержки и сопровождения программного и аппаратного обеспечения, используемого при выполнении ПНИЭР;
• проведение патентных исследований;
• оценка технико-экономических показателей проекта;
• исследование методов и технологий сжатия цифровых растровых изображений;
• исследование методов и технологий улучшения и коррекции цифровых растровых изображений;
• исследование методов и технологий распознавания объектов на цифровых растровых изображениях;
• анализ подходов, методов и средств функционального и имитационного моделирования технического устройства;
• разработка функциональной и имитационной модели технического устройства, реализующего многопотоковую обработку цифровых изображений в режиме реального времени;
• исследование методов и технологий получения и обработки цифровых панорамных изображений от нескольких источников в режиме реального времени;
• анализ существующей элементной базы и специализированных программных средств разработки и отладки. Разработка технических предложений для соответствующей элементной базы и по ее использованию при разработке цифровой портативной фото/видео аппаратуры для панорамной съемки;
• создание специализированного стенда для проектирования, программирования, проверки и отладки цифровых устройств на базе программируемых логических интегральных схем (ПЛИС);
• разработка экспериментальной лабораторной установки по исследованию оптической и мехатронной подсистем устройства регистрации панорамных изображений.

При этом были получены следующие результаты:

1. Аналитический обзор информационных источников по теме проекта.

2. Отчет о патентных исследованиях.
Анализ найденных патентов показал, что разрабатываемое портативное средство позволит выполнять регистрацию цифровых панорамных изображений с разрешением и качеством обработки значительно выше аналогов. По результатам патентного поиска можно сделать вывод о высокой конкурентоспособности разрабатываемого устройства. Соответственно, продажа прав на использование данной системы может являться объектом коммерциализации.

3. Оценка текущих технико-экономических показателей проекта.
Выполнен расчет показателей коммерческой эффективности на основе рыночных цен на продукты, услуги и материальные ресурсы. В результате оценки технико-экономических показателей проекта сделан вывод о том, что без учета дисконтирования денежных потоков (в ценах 2014 г.) точка безубыточности будет достигнута в 2021 г. (срок окупаемости инвестиционного проекта), средства Индустриального партнёра, направляемые на софинансирование ПНИЭР, окупятся в 2020 г.

4. Функциональная и имитационная модель технического устройства
, реализующего многопотоковую обработку цифровых изображений в режиме реального времени. Данные модели будут использованы на последующих этапах работ для проектирования устройства и анализа его технических характеристик, а также необходимых параметров его узлов.

5. Технические предложения по использованию существующей элементной базы и специализированных программных средств разработки и отладки.
В качестве аппаратных средств обработки цифровых панорамных изображений предложено применять ПЛИС серии Stratix V. Сформированы предварительные требования к составу IP-ядер, необходимых для создания проекта специализированного вычислительного устройства. Обоснован выбор OpenCL для ускоренной обработки фото- и видеоданных.

6.
Специализированный стенд для проектирования, программирования, проверки и отладки цифровых устройств на базе программируемых логических интегральных схем (ПЛИС).
Состав разработанного стенда:

• модуль проектирования и программирования;
• модуль проверки и отладки;
• комплект технической документации.

Разработка данного специализированного стенда является необходимым условием для успешной реализации ПНИЭР.

7. Экспериментальная лабораторная установка по исследованию оптической и мехатронной подсистем устройства регистрации панорамных изображений (ЭЛУ-РПИ)
. ЭЛУ-РПИ обеспечивает выполнение следующих исследований:

• исследование оптической схемы расположения камер для реализации заданных функции; исследование оптических характеристик объективов;
• исследование характеристик мехатронной подсистемы управления камерами;
• исследование характеристик светочувствительных сенсоров.
• ЭЛУ-РПИ оснащена специализированными программными модулями для:
• оценки параметра резкости растровых изображений;
• оценки параметров контрастности растровых изображений;
• оценки степени совмещения растровых изображений;
• оценки степени искажения при смазе растровых изображений;
• оценки степени идентичности изображений полученных с разных камер.

Для организации эффективной работы с большим количеством файлов различного содержания для экспериментальной лабораторной установки создана база данных хранения результатов вычислительных экспериментов.

Разработанная в рамках выполнение ПНИЭР экспериментальная лабораторная установка по исследованию оптической и мехатронной подсистем устройства регистрации панорамных изображений обеспечит эффективное проведение разнообразных экспериментов по оценке параметров создаваемых подсистем.

Более подробная информация о результатах реализации проекта приведена в резюме проекта.

Комиссия Минобрнауки России признала обязательства по Соглашению на отчетном этапе исполненными надлежащим образом.

II этап

В ходе выполнения проекта по Соглашению о предоставлении субсидии от 29.09.2014 № 14.581.21.0003 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на этапе № 2 в период с 01.01.2015 по 30.06.2015 выполнялись следующие работы:

• анализ существующих подходов и методов обработки больших объемов графической информации при формировании единого панорамного изображения;
• исследование и разработка масштабируемой архитектуры устройства регистрации панорамных изображений;
• исследование и анализ возможных технических решений по построению оптической и мехатронной подсистем устройства регистрации панорамных изображений;
• разработка алгоритмов управления оптической и мехатронной частью устройства регистрации панорамных изображений;
• реализация алгоритмов управления оптической и мехатронной частью устройства регистрации панорамных изображений;
• исследование принципов построения операционной системы управления устройством регистрации панорамных изображений;
• анализ существующих операционных систем и программно-технических средств для реализации операционной системы управления устройством регистрации панорамных изображений;
• разработка технических предложений по построению устройства регистрации панорамных изображений;
• проектирование подсистемы формирования цифрового панорамного изображения;
• разработка параллельных алгоритмов обработки сигналов и потоков данных светочувствительных сенсоров;
• реализация и отладка параллельных алгоритмов обработки сигналов и потоков данных светочувствительных сенсоров на ПЛИС;
• проведение доработки в части реализации функций исследования характеристик светочувствительных сенсоров экспериментальной лабораторной установки по исследованию оптической и мехатронной подсистем устройства регистрации панорамных изображений;
• разработка программы и методики экспериментальных исследований для лабораторной установки по исследованию оптической и мехатронной подсистем устройства регистрации панорамных изображений;
• проведение экспериментальных исследований с лабораторной установкой по исследованию оптической и мехатронной подсистем устройства регистрации панорамных изображений.

При этом были получены следующие результаты:

1. Масштабируемая архитектура устройства регистрации панорамных изображений.
Архитектура устройства регистрации панорамных изображений представляет собой модульную структуру и состоит из следующих элементов:

• оптический модуль устройства;
• модуль предварительной обработки изображений;
• базовый системный модуль.

Такое деление функциональной модели на структурные элементы обеспечивает большую гибкость и масштабируемость конструкции устройства.

2. Технические решения по построению оптической и мехатронной подсистем устройства.
Из проведенного анализа возможных технических решений следует, что для построения оптической и мехатронной подсистем устройства целесообразно использовать бескинематическую систему, оснащенную трансфокальными объективами с регулируемой диафрагмой и имеющими поле зрение не менее 60^о.

3. Алгоритмы управления оптической и мехатронной частью устройства регистрации панорамных изображений.
Разработаны алгоритмы автоматического управления временем экспозиции видео-сенсора и автоматического управления диафрагмой объектива. Данные алгоритмы реализованы на языке Verilog HDL и адаптированы для работы на ПЛИС.

Работоспособность алгоритмов подтверждена протоколами аттестации.

Сформирован комплект программной документации на программу автоматического управления временем экспозиции видео-сенсора и на программу автоматического управления диафрагмой объектива CMOS-сенсора в составе:

• спецификация;
• текст программы;
• описание программы;
• описание применения;
• руководство программиста;
• программа и методика аттестации.

4. Технические требования по построению устройства регистрации панорамных изображений.
Для реализации устройства регистрации панорамных изображений предлагается использовать платформу nVidia Tegra K1 (или более новую – Х1), представляющую собой изделие, включающее аппаратную платформу, наличие средств разработки под операционную систему Linux, набор драйверов для видеоускорителя и мощные средства разработки для платформы CUDA, позволяющие оперативно создавать приложения, эффективные с точки зрения использования возможностей архитектуры.

5. Подсистема формирования цифрового панорамного изображения.
Данная подсистема позволяет получать синхронное изображение от нескольких камер и обеспечивает выполнение следующих функции:

• управления камерами;
• получения сигналов с нескольких светочувствительных сенсоров и их параллельной предварительной обработки;
• передачи данных в специализированный процессор;
• сшивки полученных изображений.

6. Алгоритмы параллельной обработки сигналов и потоков данных светочувствительных сенсоров.
Решают задачу управления параметрами светочувствительных сенсоров и преобразование сигналов в цифровое RGB-изображение с учетом параметров, указанных в техническом задании. Разработка и реализация алгоритмов выполнена в виде программы для вычислительного модуля камеры, реализованного на ПЛИС MAX10 компании Altera, подготовлен комплект программной документации на «Программное обеспечение обработки сигналов и потоков данных светочувствительных сенсоров» в составе:

• описание программы;
• описание применения;
• текст программы.

Разработаны и протестированы модули, реализующие алгоритмы:

• модуль получения информации от матрицы;
• модуль преобразования RAW-RGB;
• модуль кадрирования изображения;
• модуль коррекции дисторсии изображения;
• модуль перспективных преобразований изображения.

7. Доработанная техническая документация на экспериментальную лабораторную установку регистрации панорамных изображений (ЭЛУ-РПИ).
Целью доработки является доукомплектование ЭЛУ-РПИ аппаратно-программной реализацией для исследования характеристик светочувствительных сенсоров.

Аппаратная часть доработки ЭЛУ-РПИ имеет в своем составе:

• общую плату для размещения элементов схемы обработки сигналов;
• объектив с переменным фокусным расстоянием и автоматической диафрагмой;
• держатель объектива с возможностью крепления объектива типа CS с посадочным диаметром 25,4 мм;
• плату оптического модуля, содержащую исследуемый светочувствительный сенсор со схемой питания и согласования сигналов;
• адаптер питания 220/12 В мощностью не менее 24 Вт.

Программная реализация доработки экспериментальной установки обеспечивает получение характеристик исследуемых светочувствительных сенсоров и обладает базовыми инструментами статистического анализа результатов измерений.

Разработанные программные модули:

• модуль оценки уровня шумов;
• модуль оценки отношения с/ш изображений;
• модуль оценки чувствительности;
• модуль оценки динамического диапазона;
• модуль обработки экспертных оценок визуального качества изображений, получаемых с помощью светочувствительных сенсоров.

Разработан комплект технической документации и программная документация для каждого из модулей.

8. Программы и методики экспериментальных исследований для лабораторной установки по исследованию оптической и мехатронной подсистем устройства регистрации панорамных изображений.
На основе доработки ЭЛУ-РПИ, которая состояла из аппаратной и программной частей, разработаны две отдельные методики:

• ПМ1. Задача данной методики – проверка работоспособности аппаратной части, проверка соответствия требованиям технического задания и проведение экспериментальных исследований с оптическими сенсорами;
• ПМ2. Задача данной методики – проверка работоспособности программной реализации, проверка соответствия требованиям технического задания и оценка готовности программных модулей для проведения экспериментальных исследований с оптическими сенсорами.

9. Экспериментальные исследования с лабораторной установкой по исследованию оптической и мехатронной подсистем устройства регистрации панорамных изображений.
Программа экспериментальных исследований состояла из следующих этапов:

• проверка работоспособности аппаратной части доработки ЭЛУ-РПИ и соответствия достигнутых характеристик требованиях технического задания в соответствии с программой и методикой ПМ1;
• проверка работоспособности программной реализации доработки ЭЛУ-РПИ и соответствия достигнутого функционала требованиях технического задания в соответствии с программой и методикой ПМ2;
• испытание оптического модуля с различными установленными светочувствительными сенсорами в соответствии с программой и методикой ПМ1.

Более подробная информация о результатах реализации проекта приведена в резюме проекта.

Комиссия Минобрнауки России признала обязательства по Соглашению на отчетном этапе исполненными надлежащим образом.

III этап

В ходе выполнения проекта по Соглашению о предоставлении субсидии от 29.09.2014 № 14.581.21.0003 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на этапе № 3 в период с 01.07.2015 по 31.12.2016 выполнялись следующие работы:

• <разработка алгоритмов формирования цифрового панорамного изображения от нескольких источников;
• программная реализация алгоритмов формирования цифрового панорамного изображения от нескольких источников;
• разработка эскизной документации на макет устройства регистрации цифровых панорамных изображений;
• проектирование операционной системы и алгоритмов управления устройством регистрации цифровых панорамных изображений;
• программная реализация операционной системы и алгоритмов управления устройством регистрации цифровых панорамных изображений;
• разработка и реализация алгоритмов обработки, сжатия и декомпрессии статических и потоковых изображений;
• разработка программы и методики проведения экспериментальных исследований образца устройства регистрации цифровых панорамных изображений;
• адаптация программных компонентов под выбранные аппаратные решения функционирования программных средств;
• формирование технических требований к аппаратной архитектуре устройства;
• создание специализированного стенда по прототипированию радиоэлектронной аппаратуры;
• проведение оценки текущих технико-экономических показателей проекта.

При этом были получены следующие результаты:

1 Алгоритмы формирования цифрового панорамного изображения от нескольких источников.
Разработанные алгоритмы реализованы на основе новой математической модели додекаэдра и позволяют решать задачу «сшивки» сферического панорамного изображения от 12-ти светочувствительных сенсоров в режиме реального времени.

Для проверки корректности реализации и отладки алгоритмов разработана эскизная конструкторская документация на отладочный образец, представленная в виде отдельного комплекта документов. На основе данной документации изготовлен отладочный образец устройства.

Программная реализация алгоритмов формирования панорамного изображения от нескольких источников выполнена на программном комплексе MatLab и в пакете инструментов Image Processing Toolbox. Указанная реализация алгоритмов включает 8 программных модулей, выполняющих 10 основных функций предварительной обработки и преобразования изображений.

Сформирован комплект программной документации в следующем составе:

• спецификация;
• текст программы;
• описание программы;
• описание применения.

2 Эскизная документация на макет устройства регистрации цифровых панорамных изображений.
Макет устройства обладает следующими характеристиками:

• количество используемых камер – не менее 12 шт.;
• угол охвата поля изображения по горизонтали – 360 градусов, по вертикали – 360 градусов;
• формат сжатия видеоизображений – H.264, H.265;
• программное (цифровое) приближение просматриваемого изображения – не менее 10 раз;
• максимальная частота кадров записываемых видеоданных с разрешением 3840×2160 (Ultra HD) точек - 30 кадров в секунду;
• относительный коэффициент оптических искажений (дисторсии) – не более 1,5 %;
• снаряженная масса устройства с источником питания – не более 2 кг;
• габаритные размеры – не более 200х200х200 мм.

Эскизная документация на макет устройства регистрации цифровых панорамных изображений представлена в виде отдельного комплекта конструкторской документации.

3 Операционная система и алгоритмы управления устройством регистрации цифровых панорамных изображений.
Разработанные и программно-имплементированные алгоритмы управления устройством регистрации цифровых панорамных изображений обладают глубокой оптимизацией под целевую аппаратную платформу, что позволяет выполнять операции формирования цифровых панорамных изображений в режиме реального времени.

Операционная система представляет собой интегрированный программный продукт, разработанный на основе оптимизированного базового ядра ОС Linux, адаптированный для работы на мобильных платформах NVidia и ПЛИС Altera. Данная операционная система содержит интегрированные в окружение ядра системы специализированные функции управления устройством регистрации, обработки и формирования панорамного изображения.

Сформирован комплект технической документации на операционную систему управления устройством регистрации цифровых панорамных изображений, включающий:

• спецификация;
• текст операционной системы;
• описание операционной системы;
• описание применения операционной системы;
• руководство системного администратора операционной системы;
• руководство оператора операционной системы;
• описание алгоритмов управления устройством.

4 Алгоритмы обработки, сжатия и декомпрессии статических и потоковых изображений.
Разработанные алгоритмы обеспечивают преобразование изображения в современные форматы: для статических изображений – JPEG, RAW; для динамических изображений – H.264, H.265 и адаптированы для реализации на программируемых логических интегральных схемах.

Разработаны четыре комплекта программной документации на программное обеспечение сжатия и декомпрессии в форматах JPEG, RAW, H.264, H.265. Каждый комплект документации включает:

• спецификацию;
• текст программ;
• описание программы;
• описание применения.

5 Программа и методика проведения экспериментальных исследований образца устройства регистрации цифровых панорамных изображений.
Позволяет выполнить оценку соответствия основных характеристик разработанного устройства требованиям, установленным техническим заданием на выполнение ПНИЭР, а также проверка параметров функционирования устройства: температурный режим отдельных компонентов и устройства в целом, потребляемая мощность от автономного источника и время непрерывной работы от полностью заряженного автономного источника питания.

6 Адаптация программных компонентов под выбранные аппаратные решения функционирования программных средств.
Осуществлена адаптация конфигурации сервисных и пользовательских служб операционной системы управления устройством регистрации цифровых панорамных изображений в контексте распределения функций управления между центральным модулем и модулями FPGA.

Осуществлена адаптация программы формирования цифрового панорамного изображения от нескольких источников, реализованная в среде MatLab, в контексте разделения функций между программным модулем обработки панорамного изображения и модулями FPGA при формировании панорамного изображения.

Разработан комплект технической документации на программный комплекс управления формированием панорамного изображения в режиме реального времени, в следующем составе:

• спецификация;
• текст программы программного модуля итоговой обработки и формирования панорамного изображения;
• текст программы программного модуля управления FPGA;
• описание программы;
• описание применения.

7 Технические требования к аппаратной архитектуре устройства.
Технические требования представлены в виде отдельного документа. Данный документ определяет:

• основные параметры устройства;
• технические требования к составу и характеристикам;
• комплектность устройства.

Состав компонентов устройства и ключевые характеристики:

• вычислительного модуля;
• агрегатного модуля;
• модуля кодека;
• модуля оптического сенсора;
• платы ввода-вывода;
• дисплейного модуля;
• платы сенсорного ввода модуля;
• питающих устройств и аккумуляторной батареи.

8 Специализированный стенд по прототипированию радиоэлектронной аппаратуры.
Предназначен для изготовления действующих прототипов радиоэлектронной аппаратуры для проведения экспериментальных исследований.

Состав стенда:

• автоматизированное рабочее место (Центральная ПЭВМ);
• программное обеспечение для проектирования печатных плат высокой сложности и моделирования РЭА;
• установка по изготовлению печатных плат радиоэлектронной аппаратуры;
• установка по монтажу печатных плат радиоэлектронной аппаратуры;
• программный модуль автоматизированного обнаружения дефектов печатных плат с помощью видеомикроскопа;
• видеомикроскоп.

Разработан комплект технической документации.

Конструкторская документация:

• руководство по эксплуатации;
• схема электрическая структурная;
• схема электрическая функциональная;
• схема электрическая подключений;
• схема расположений.

Программная документация для модуля автоматизированного обнаружения дефектов при изготовлении печатных плат:

• описание программы;
• текст программы;
• руководство программиста.

Для проверки работоспособности и соответствия стенда требованиям технического задания разработаны программы и методики испытаний для аппаратной и программной части.

Результаты исследований приведены в протоколах испытаний.

9 Оценка текущих технико-экономических показателей проекта.
Результаты оценки показали, что без учета дисконтирования денежных потоков (в ценах 2015 г.) точка безубыточности будет достигнута в 2022 г. (срок окупаемости инвестиционного проекта), средства Индустриального партнера, направленные на софинансирование ПНИЭР, окупятся в 2021 г.

Более подробная информация о результатах реализации проекта приведена в резюме проекта.

Комиссия Минобрнауки России признала обязательства по Соглашению на отчетном этапе исполненными надлежащим образом.

IV этап

В ходе выполнения проекта по Соглашению о предоставлении субсидии от 29.09.2014 № 14.581.21.0003 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на этапе № 4 в период с 01.01.2016 по 30.06.2016 выполнялись следующие работы:

• создание проектного макета (экспериментального образца) устройства регистрации цифровых панорамных изображений (УРЦПИ) в соответствии с эскизной документацией;
• проведение экспериментальных исследований с экспериментальным образцом устройства регистрации цифровых панорамных изображений;
• анализ результатов экспериментальных исследований экспериментального образца устройства регистрации цифровых панорамных изображений;
• доработка и корректировка технических решений экспериментального образца по результатам испытаний, внесение изменений в техническую документацию;
• проектирование и реализация графического пользовательского интерфейса для операционной системы управления устройством регистрации цифровых панорамных изображений;
• проектирование и реализация подсистемы отображения панорамного изображения на стандартных дисплеях с функциями приближения и надвигания по изображению;
• определение технических, технологических, экономических требований к разработке устройств регистрации цифровых панорамных изображений;
• разработка эскизной документации на проектный макет специализированного процессора для обработки изображений на ПЛИС;
• разработка программы и методики испытаний экспериментального образца специализированного процессора для обработки изображений;
• проведение экспериментальных исследований образцов специализированного процессора для обработки изображений;
• создание партии экспериментальных образцов специализированного процессора для обработки изображений на ПЛИС;
• создание специализированного стенда по тестированию и отладке цифровой радиоэлектронной аппаратуры.

При этом были получены следующие основные результаты:

1 Проектный макет (экспериментальный образец) устройства регистрации цифровых панорамных изображений. В ходе выполнения работ создан экспериментальный образец устройства регистрации цифровых панорамных изображений в соответствии с эскизной документацией.

Основные характеристики экспериментального образца:

• количество используемых камер – не менее 12 шт.
• угол охвата поля изображения
• по горизонтали – 360 градусов;
• по вертикали – 360 градусов;
• формат сжатия видеоизображений – H.264, H.265;
• программное (цифровое) приближение просматриваемого изображения – не менее 10 раз;
• максимальная частота кадров, записываемых видеоданных с разрешением 3840×2160 (Ultra HD) точек – 30 кадров в секунду;
• относительный коэффициент оптических искажений (дисторсии) – не более 1,5 %;
• снаряженная масса устройства с источником питания – не более 5 кг.;
• габаритные размеры – не более 300х300х300 мм.

2 Экспериментальные исследования с экспериментальным образцом устройства регистрации цифровых панорамных изображений. Цель экспериментальных исследований – оценка основных характеристик разработанного объекта исследований требованиям, установленным Техническим заданием на выполнение ПНИЭР.

3 Анализ результатов экспериментальных исследований экспериментального образца устройства регистрации цифровых панорамных изображений. В результате проведения исследований выявлено, что при формировании эквидистантной проекции панорамного изображения происходит растягивание фрагментов изображения в зените и надире, а при отображении – стягивание. В дальнейшем планируется проработка формата сохранения фотографий в другой проекции – куб (в виду особенностей работы кодеков H.264 и H.265). А также для повышения разрешения снимков и производительности устройства за счет возможности использовать оптические сенсоры более высокого разрешения, необходимо реализовать в устройстве аппаратную поддержку сенсоров не только с параллельным, но и с последовательным интерфейсом MIPI (Display Serial Interface (DSI) – спецификация Mobile Industry Processor Interface (MIPI) Allianc).

На основе результатов проведенных исследований можно сделать вывод, что экспериментальный образец успешно выдержал проверку по основным параметрам.

4 Доработанная эскизная документация на макет устройства регистрации цифровых панорамных изображений. На основе анализа результатов экспериментальных исследований с учетом отмеченных замечаний внесены изменения в эскизную документацию проектного макета устройства регистрации цифровых панорамных изображений (разработана плата интерфейсов MIPI в составе модуля питающих устройств).

5 Графический пользовательский интерфейс для операционной системы управления устройством регистрации цифровых панорамных изображений.

Программная реализация приложений операционной системы представлена в виде:

• нативные приложения;
• web-приложения.

Нативное приложение разрабатывается с использованием фреймворка нативных приложений и фреймворка графического интерфейса. В качестве основы графического интерфейса используется компонента Enlightenment Foundation Libraries (EFL).

Web-приложения разрабатываются и выполняются с помощью компонентов Web-фреймворка. Web-фрейворк ОС УРЦПИ базируется на функциональных возможностях HTML5 (W3C/HTML5 API). Исполняющая система для web-приложений основана на браузерном движке WebKit.

Аппаратная платформа, выполненная на базе системы на кристалле от Altera, которая сочетает в себе высокопроизводительный двухъядерный ARM Cortex-A9 процессор и программируемую логику для достижения максимальной гибкости при создании решений.

6 Подсистема отображения панорамного изображения на стандартных дисплеях с функциями приближения и надвигания по изображению. Подсистема реализована в виде веб-приложения, состоящего из веб-сервера и веб-клиента. Программного обеспечения с графическим пользовательским интерфейсом создание на базе HTML5, CSS и JavaScript технологий.

Подсистема реализует следующие функции:

• регистрацию статического панорамного изображения;
• регистрацию динамического панорамного изображения;
• поиск и просмотр изображений на внешнем дисплее;
• копирование выбранных изображений на подключенное USB 3.0 внешнее устройство хранения данных;
• управление параметрами функционирования;
• приближение и надвигание по изображению;
• интерфейс для проведения испытаний УРЦПИ.

7 Эскизная документация на проектный макет специализированного процессора для обработки изображений. Конфигурация проектного макета специализированного процессора состоит из двух связанных модулей: программного (реализованного на ARM ядрах) и аппаратного (реализованного на логических элементах ПЛИС). Физически они объединены в одном корпусе микросхемы семейства Cyclone V.

В соответствии с требованиями ТЗ макет специализированного процессора (СП) обеспечивает выполнение следующих функций по формированию и обработке панорамного изображения (алгоритмы, реализующие данные функции разработаны на этапе 3):

• обработка, сжатие и декомпрессия статических и потоковых изображений в форматах: JPEG, RAW – для статических и H.264, H.265 — для потоковых;
• формирование в режиме реального времени цифрового панорамного изображения (реализация задачи "склейки" множества цифровых изображений) от нескольких камер, работающих синхронно.

Разработан комплект технической документации в составе:

• программной документации на управляющую программу специализированного процессора;
• конструкторская документация на проектный макет специализированного процессора.

8 Программа и методика проведения испытаний экспериментального образца специализированного процессора для обработки изображений.

Разработаны две отдельные программы и методики:

• программа и методика лабораторных испытаний ПМ1 (определение соответствия объекта испытания требования ТЗ);
• программа и методика исследовательских испытаний ПМ2 (оценка показателей ресурсоемкости процессов сшивки, сжатия и декомпрессии изображений при их реализации на выбранной аппаратной платформе).

9 Партия экспериментальных образцов специализированных процессоров для обработки изображений на ПЛИС. Создана партия экспериментальных образцов специализированных процессоров и поведены экспериментальные испытания в соответствии с разработанными программами и методиками лабораторных испытаний. Испытания проводились с использованием стенда проектирования, программирования и отладки цифровых устройств. Подключение экспериментальных образцов специализированного процессора к автоматизированному рабочему месту (АРМ) стенда осуществляется посредством Ethernet по протоколу SSH.

10 Специализированный стенд по тестированию и отладке цифровой радиоэлектронной аппаратуры. Предназначен для тестирования и отладки экспериментальных и опытных образцов цифровой радиоэлектронной аппаратуры.

Состав специализированного стенда:

• программные средства диагностики;
• управляющая ЭВМ с предустановленным ПО;
• лабораторные источники питания;
• цифро-аналоговый осциллограф;
• логический анализатор.

Все компоненты стенда управляются по средствам ЭВМ с помощью программных средств диагностики «Программный комплекс специализированного стенда по тестированию и отладке цифровой радиоэлектронной аппаратуры».

Программный комплекс специализированного стенда выполняет следующие функции:

• тестирование цифровых электронных блоков (с микроконтроллерами или ПЛИС);
• тестирование аналоговых электронных блоков;
• тестирование комбинированных электронных блоков;
• тестирование электронных блоков с применением средств измерения;
• контроль параметров при проведении приемосдаточных испытаний электронных блоков (изделий);
• контроль параметров при проведении приемосдаточных испытаний электронных блоков (изделий) с термоустойчивостью.

Разработан комплект технической документации в составе конструкторской и программной документации.

Более подробная информация о результатах реализации проекта приведена в резюме проекта.

Комиссия Минобрнауки России признала обязательства по Соглашению на отчетном этапе исполненными надлежащим образом.

Резюме проекта, полученные результаты:  Результаты 2 этапа:  Загрузить / Результаты 3 этапа:  Загрузить / :  Загрузить