Магистрант СПИНТех адаптировал нейросеть YOLOv8 для работы на ПЛИС
Магистрант Института СПИНТех Артем Васильев (группа ПИН-21М) в рамках производственной практики в компании ООО «Альфачип» разработал алгоритм квантизации нейросети YOLOv8, обеспечивающий возможность ее реализации на программируемых логических интегральных схемах (ПЛИС). Работа над проектом включала не только адаптацию архитектуры под требования аппаратного исполнения, но и глубокую оптимизацию параметров модели, что позволило повысить ее точность в условиях 8-битной квантизации.
YOLO (You Only Look Once) — это семейство моделей компьютерного зрения, предназначенных для детектирования объектов на изображениях и в видеопотоке в реальном времени. Благодаря высокой скорости работы и точности, YOLO широко применяется в автономных системах, включая робототехнику, системы видеонаблюдения и беспилотный транспорт. Однако ее применение на встраиваемых устройствах, таких как ПЛИС, ограничено из-за высокой ресурсоемкости и сложной архитектуры. Для преодоления этих ограничений Артем внес ряд модификаций: провел операцию BatchNorm Fusion для исключения BatchNorm слоев, внедрил алгоритм поканальной статической квантизации, а также разработал кастомный скрипт для автоматического подбора масштабирующих коэффициентов при квантовании весов и активаций.
Особое внимание было уделено сохранению точности модели при переходе в целочисленный формат. Для этого были протестированы три метода определения диапазона активаций: Abs Max, Mean + 3*STD и Min MAE. Последний из них, минимизирующий среднюю абсолютную ошибку, показал наилучшие результаты — позволив игнорировать редкие выбросы и сохранить плотность значений в допустимом диапазоне. Это обеспечило прирост точности по метрике mAP с 0.28 до 0.31 (при эталонном значении 0.33 у оригинальной YOLOv8n). Разработанный подход универсален и уже протестирован на двух вариантах модели — YOLOv8n и YOLOv8s.
Артем вручную переписал всю архитектуру модели под специфику низкоуровневой реализации, и на текущий момент готов Verilog-код, воспроизводящий поведение квантизованной модели. На следующем этапе планируется разработка нейрочипа, ориентированного на задачи компьютерного зрения в системах видеонаблюдения и автономных летательных аппаратах.
«Мне было действительно интересно разобраться в этой теме, потому что одно дело — запускать нейросеть на ноутбуке, и совсем другое — реализовывать ее на "железе". Когда мне предложили задизайнить такую модель для исполнения на чипе, я сразу согласился: задача сложная, но очень увлекательная. Самым трудным оказалось аккуратно расписать и реализовать алгоритм квантизации, ведь YOLOv8 — это массивная архитектура, в которой легко потеряться», — делится Артем.
На базе проведенного исследования подготовлены две научные статьи: одна проходит рецензирование в зарубежном журнале Q1-категории “IEEE Transactions on Image Processing”, вторая — в российском издании первого квартиля «Информационные технологии».
Желаем Артему дальнейших успехов в научной и профессиональной деятельности!