Что такое искусственные нейронные сети

Искусственные нейронные сети – суперактуальная в современном мире тема научных исследований и инженерных разработок, которая приобрела особое значение в эпоху всеобщей цифровизации и внедрения искусственного интеллекта. Множество ученых разных стран, включая Россию, занимаются программными эмуляциями искусственных нейросетей, но гораздо меньше доходят до их проектирования и реализации в виде интегральной микросхемы – кремниевого (или не совсем кремниевого) чипа.

В МИЭТе разработки в области искусственного интеллекта и его воплощения в электронике ведут в разных научных коллективах, в том числе на кафедре проектирования и конструирования интегральных микросхем (ПКИМС) – выпускающей по направлению подготовки «Электроника и наноэлектроника», базового для университета. Под руководством профессора, д.т.н. Д.В. Тельпухова и в тесном сотрудничестве с коллективом ИППМ РАН разработаны уже несколько искусственных нейронных сетей на основе ПЛИС (программируемых логических интегральных схем) фирмы Хilinx. О том, что такое коннекционизм и в чем состоят проблемы проектирования и моделирования нейроморфных систем искусственного интеллекта, рассказывает И.В. Матюшкин, доцент кафедры ПКИМС МИЭТ.

Нейронные сети интеллекта

Что такое искусственный интеллект (ИИ) в точном смысле слова? Обычно возникают ассоциации интеллекта с нейронными сетями – естественными, в пределах мозга человека или даже животного, или искусственными.

Об успехах искусственных нейронных сетей (ИНС) наслышаны все. Так, в 2017 году ИНС AlphaZero, разработка компании DeepMind/Google, после 24 часов обучения – игры в шахматы сама с собой – легко победила чемпионов мира среди программ по играм в шахматы и го, созданных по классическим принципам школы Ботвинника 1960-х годов и выигравших в 1997 году у Гарри Каспарова, тогдашнего чемпиона мира по шахматам.

Точное определение ИИ едва ли можно дать, потому что оно будет прямо связано с ответом на вопрос о природе сознания и его связи с материальным миром.

Одним из подходов (далеко не единственным!), получившим широкое развитие, стал коннекционизм. В основе его лежит вычислительный (компьютерный) подход к моделированию мозга, использующий искусственные нейронные сети для имитации мыслительных процессов живых существ, включая человека.

Мышление и его модели

Существуют разные взгляды на коннекционизм как модель мыслительного процесса. Например, психологи начала 20-го века или представители современных когнитивных наук сводят его к ассоциативным связям между образами, эмоциями и понятиями.

С точки зрения инженера – например, так считал Феликс Розенблатт, изобретатель архитектуры ИНС в виде перцептрона – это лишь продукт циркуляции сигналов в гигантской по числу элементов (10-100 миллиардов) вычислительной сети.

При этом коннекционизм не ограничивается ИНС, а используется в качестве основы и для других систем.

Типичные коннекционистские системы

В крайнем случае радикального коннекционизма парадигму можно свести к лозунгу: Связи – Все, Элементы – ничто! При этом чем больше элементов и связей, тем меньше сложность одиночного элемента системы. Поиск золотой середины между числом связей и сложностью – одна из проблем проектирования коннекционистских систем (К-систем), а также сетевых вычислений (net-computing).

Интеллектуальность с точки зрения коннекционизма предполагает имитацию сознания в К-системе с помощью сети из относительно простых элементов, при этом форма элементов и законы связи между ними могут быть различными.

Перевести мышление в цифру

Как же спроектировать абстрактную вычислительную систему с нужными интеллектуальными свойствами? В классическом подходе к ИИ как к сложной вычислительной машине, доминировавшем с 1950-х до 1990-х годов, под этим понимали поиск той комбинации разнородных элементов (логических вентилей), которая даст требуемую функцию обработки сигнала, то есть сводится к обработке информации по заданным алгоритмам.

В основе ИНС, как представителя класса К-систем, лежит известная упрощенная схема работы биологического нейрона согласно модели Маккалока-Питтса (1943 года):

Функциональная биологическая модель Маккалока-Питтса и ее абстрактное математическое представление

Для разработчиков К-систем оказалась удобней не точная функциональная биологическая модель, а ее абстрактное математическое воплощение. С такой точки зрения модель Питтса заключается в том, что сначала суммируются сигналы с входов с некоторыми весами от -1, до 1, и если сумма превышает некий порог, то элемент активируется и генерирует на выходе 1.

Таким образом, проектирование ИИ как К-системы на основе ИНС сводится к задаче обучения, то есть подбору весов и порогов для каждого элемента сети (нейрона), хотя и начальная архитектура сети, иными словами, общие правила коммутации тоже имеют значение.

Нейроморфность в электронном виде

Когда же встает вопрос о физической реализации ИНС «в железе» – на любом материальном носителе, появляется другое ключевое понятие – нейроморфная (НМ) или нейроподобная система. В целом при проектировании нейроморфных К-систем возникает ряд проблем разной природы:

- Задача представления сигнала, которым один нейроноподобный элемент обменивается с другим, включая разрядность и формат данных;

- Проблема выбора физического воплощения или электронной компонентной базы – с помощью какой электрической схемы обработать сигналы, стекающиеся к «нейрону»? Или более общий вопрос – какова начинка нейрона?

- Выбор места хранения параметров, значения которых определяются в ходе обучения. Две крайние альтернативы – это хранение их внутри самого элемента или, для удобства обучения, в специальной матричной структуре, области памяти.

- Другие проблемы, например, тепловыделение или энергопотребление при генерации искусственным нейроном сигнала.

«Дыхание» графа

В качестве математической модели К-системы можно использовать нагруженный граф, в котором в роли ребер выступают связи, а в роли нагрузок (причем, динамических – изменяющихся во времени) выступают сигналы предопределенного типа. Можно сказать, что К-система «дышит», причем все элементы – либо синхронно, в едином ритме времени, либо асинхронно, когда каждый находится в своем ритме или его фазе. При «вдохе» элемент принимает сигналы, открыт к их обработке, затем следует пауза на «обдумывание», когда элемент изменяет свое информационное и энергетическое состояние, и наконец наступает фаза «выдоха», когда элемент генерирует выходной, или выходные сигналы.

Таким образом сначала требуется выполнить функциональное моделирование К-системы и провести вычислительные эксперименты, например, с предварительно запрограммированным клеточным автоматом.

На кафедре ПКИМС на решении этих научных задач специализируется доцент, к.ф-м.н И.В. Матюшкин.

Многомерная топология

Очевидная проблема – трансфер графа топологии (topology) К-системы в размещение (layout) элементов-ячеек НМ-системы. При этом топология сети может быть даже пятимерной, хотя инженерам может показаться, что двумерность кремниевого чипа накладывает жесткое ограничение на НМ-систему.

Пока еще нет примеров реализации в кремниевом чипе шаблона связей в виде тессеракта, четырехмерного куба. Существуют шаблоны соседства всех пяти платоновых тел в пространствах размерности выше трех, например, пентеракт – куб в пятимерном пространстве.

Варианты реализации связей ИНС: тессеракт (слева) – четырехмерный куб; пентеракт (справа) – пятимерный куб

Поиском оптимальной коммутации между этими элементами на кафедре ПКИМС занимается молодая ученая, ассистент М.А. Заплетина.