Разработка модуля технического зрения для систем автопилотирования и содействия водителю
Проект был представлен на выставке «Открытые инновации» и вошел в топ-25 проектов «Технологический прорыв 2021»
Ответственный исполнитель: к.т.н. Степанов Н.В (e-mail: stepanov@olvs.miee.ru).
Назначение продукта:
Компьютер получения и обработки изображений для Усовершенствованной Системы Помощи Водителю (ADAS) может использоваться в следующих областях: системы Искусственного Интеллекта, обработка изображений, ADAS, система «Умный город».
Краткое описание:
Модуль Технического Зрения (МТЗ) при использовании в составе автомобильной системы ADAS предназначен для помощи водителю наземного транспорта, а также при применении в составе другого оборудования предназначен для обнаружения и сопровождения подвижных объектов.
Платформа МТЗ ADAS позволит организовать производство современных отечественных систем помощи водителю автотранспортных средств на основе самых передовых мировых электронных технологий и преодолеть следующие технологические барьеры дорожной карты «Автонет»:
- создание доступной по цене автомобильной бортовой системы с функционалом, достаточным для предоставления услуг;
- отсутствие средств технического зрения;
- освоение передовых технологий видеообработки на базе кастомизируемой под различные рыночные применения аппаратно-программной платформы.
Состав изделия:
МТЗ ADAS
Модуль МТЗ ADAS основан на платформе NVIDIA Jetson и предназначен для использования в системах помощи водителю. Его возможности позволяют выполнять задачи по приему и обработке данных с камер. Модуль позволяет разработчикам ADAS реализовывать обработку поступающих данных и выдачу сигналов в режиме реального времени.
Модуль способен одновременно принимать сигналы от восьми камер, обрабатывать полученные кадры и выдавать результаты обработки. Благодаря использованию интерфейса FPD-LINK III он способен принимать сигналы от камер по кабелю длиной до 15 метров.
Спецификация
- Интерфейсы: FPD-Link III, CSI-2, UART, SPI, CAN, I2C, I2S, DMIC, GPIOs, GigE;
- 512 ядерный тензорный графический процессор;
- 2 ускорителя нейросетей Глубокого Обучения;
- параллельное сжатие до 8 видеопотоков при разрешении камеры 4К с частотой 60 Гц;
- параллельное декодирование 12 видеопотоков при разрешении камеры 4К на 12 бит.
Разработанная специально для использования в задачах компьютерного зрения камера основана на кристалле SONYIMX390. Эти камеры предназначены для установки в автомобилях и съемки окружающего пространства благодаря настраиваемому углу обзора.
Спецификация
- тип сенсора SONYIMX390HDRCMOS1/2.7";
- разрешение 2.3 МР (1920х1200);
- поддерживаемые форматы видео: WUXGA30 fps, Full-HD60fps;
- функция расширенного динамического диапазона яркости (HDR);
- FPDLINKIIIинтерфейс;
- питание по кабелю;
- вариофокальный объектив 2.8-12 мм, 1:1.4;
- габариты 19х19х15 мм (без креплений).
Текущая стадия проекта:
TRL 5 – создан макетный образец модуля технического зрения, ведется подготовка к интеграции с системами автотранспорта. В 2021 году для шести камер МТЗ, установленных на автомобиль Toyota, было разработано программное обеспечение с возможностью применения технологии искусственного интеллекта. Функционал автомобиля успешно протестирован в нестандартных и аварийных ситуациях. Cерийное производство «технического зрения» планируется организовать на базе мощностей калужского АО «Автоэлектроника».
Запуск в производство первой серии МТЗ намечен 2022 год.