Научно-технический проект «Создание системы видеонаблюдения и распознавания образов в онлайн-режиме на объектах животноводства для контроля качества содержания КРС на основе модуля технического зрения»
Ответственный исполнитель: к.т.н. Степанов Н.В., stepanov@olvs.miee.ru.
Назначение продукта:
Системы искусственного интеллекта сельскохозяйственного назначения, обработка изображений в реальном времени на объектах агропромышленного комплекса, средние и крупные молочные фермы, робототехнические системы для сельского хозяйства.
Описание: Модуль технического зрения для контроля состояния КРС (МТЗ КРС) при использовании в составе робототехнических систем сельскохозяйственного назначения предназначен для автоматизации процедур контроля состояния и обслуживания КРС, а также при применении в составе другого оборудования (на сельхозмашинах) может использоваться для обнаружения и сопровождения подвижных и неподвижных объектов.
Классификация: Компьютер реального времени получения и обработки изображений для контроля состояния крупного рогатого скота (КРС).
Характеристики:
МТЗ КРС
Вычислительный модуль МТЗ КРС основан на платформе NVIDIA Jetson Xavier NX и предназначен для использования в робототехнических системах контроля и обслуживания КРС. Его возможности позволяют выполнять задачи по приему и обработке данных с видеокамер. Модуль позволяет разработчикам робототехнических систем КРС реализовывать обработку поступающих данных и выдачу сигналов управления в режиме реального времени.
Модуль способен одновременно принимать сигналы от двух видеокамер, обрабатывать полученные кадры и выдавать результаты обработки. Благодаря использованию интерфейса CSI-2 он способен принимать сигналы от камер в режиме реального времени.
Спецификация:
- Интерфейсы: FPD-Link III, CSI-2, UART, SPI, CAN, I2C, I2S, DMIC, GPIOs, GigE;
- 432 ядерный тензорный графический процессор;
- 2 ускорителя нейросетей глубокого обучения;
- параллельное сжатие до 2 видеопотоков при разрешении камеры 4К с частотой 60 Гц;
- параллельное декодирование 4 видеопотоков при разрешении камеры 4К на 12 бит.
Камеры
Разработанная специально для использования в задачах компьютерного зрения видеокамера разработана на базе модуля Raspberry Pi HQ 2018. Эти камеры предназначены для работы совместно с платформой NVIDIA Jetson Xavier NX и обеспечивают широкий диапазон съемки окружающего пространства благодаря настраиваемому углу обзора объектива.
Спецификация:
- тип сенсора SONY IMX477 CMOS 1/2.3;
- разрешение 12.3 МР (4056х3040);
- поддерживаемые форматы видео: Full-HD 30 fps, VGA 90 fps;
- CSI-2 интерфейс;
- вариофокальный объектив 3.0-8.0 мм, 1:1.4;
- габариты 52х38х18 мм (без креплений).
Текущая стадия проекта:
TRL 5 – в 2021 году разработаны Программа и методики испытаний экспериментального образца, тестовое программное обеспечение испытаний, изготовлен экспериментальный образец модуля технического зрения (аппаратная платформа системы видеоаналитикидлясельхоз инфраструктуры). Создана программная платформа модуля технического зрения. Экспериментальный образец модуля технического зрения, использующий систему стереозрения, передан для испытаний индустриальному партнеру.
В рамках проекта создано и зарегистрировано 4 (четыре) программы для ЭВМ.