Аспирант кафедры ВМ-1 занял 2 место в соревновании по бинаризации нейросетей BSRC-2023
Виктор Бордюжа, аспирант кафедры ВМ-1, занял 2 место в соревновании по бинаризации нейросетей BSRC-2023. Организатором выступили Факультет компьютерных наук и Центр искусственного интеллекта Национального исследовательского университета «Высшая школа экономики». Соревнование проходило в онлайн-формате в один этап.
Перед участниками стояла задача создать модель с наименьшей метрикой сложности и большим пиковым отношением сигнал-шум, чтобы предложенное решение позволяло сжать и оптимизировать модели компьютерного зрения для их использования на мобильных устройствах.
Победители соревнования по результатам перетестирования решений на приватном лидерборде были объявлены 19 декабря. Разработка миэтовца вошла в тройку лучших решений.
Виктор Бордюжа рассказал о ходе BSRC-2023, своих идеях и эмоциях после оглашения победителей: «Это было самое продолжительное соревнование, в котором я участвовал. Оно длилось 4 месяца, поскольку это оптимальное время для выполнения поставленной задачи: обучение только одной качественной модели на компьютере с хорошей видеокартой в среднем занимает сутки. Сокращение длительности соревнования могло негативно сказаться как на самом качестве решений, так и сильно ограничить пространство для выбора архитектур. В рамках соревнования я перебрал их более 20, но конкурентоспособными оказались лишь 3: VapSR (Efficient Image Super-Resolution using Vast-Receptive-Field Attention), SAFMN (Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution) и DLGSANet (Lightweight Dynamic Local and Global Self-Attention Networks for Image Super-Resolution).
Вся сложность соревнования состояла в том, что нужно было не просто найти модель нейронной сети, у которой будет наилучшее соотношения PSNR к количеству операций умножения, а еще и превзойти минимальный порог по PSNR, иначе решение получает 0 баллов. Одна из моих идей состояла в том, чтобы повторить архитектуру, одержавшую победу на соревновании по решению задачи супер-разрешения (Super Resolution) в рамках воркшопа NTIRE 2023 Challenge on Efficient Super-Resolution. Но она провалилась в виду того, что ее обучение требует огромного числа данных и времени. Мое финальное решение строилось на архитектуре DLGSANet и подборе оптимальных параметров у этой модели. Я давно хотел лично погрузиться в задачу Super Resolution, а тут совпали желание и необходимость.
На момент закрытия лидерборда, я занимал 3 место. Во многих соревнованиях используются практика пересчета очков у решений участников. Набор данных делится на две части: public и private. В таблице отображаются очки за public часть данных, а затем решение перетестируется на private, чтобы исключить возможность «подгонки» решения. Я уступал второму месту 68 баллов, но после пересчета результатов на приватной части, мое решение получило на 57 баллов больше, что позволило мне подняться на ступень выше. У BSRC был высокий порог входа, многие команды не смогли разобраться с тестирующей системой или превзойти результат baseline-решения. Я не хотел занимать 3 место и очень рад, что все сложилось таким образом. Да, конечно, хотелось завершить год победой, но и такой результат считаю неплохим».
Поздравляем Виктора и желаем новых побед!