Формирование паттернов. Обратная проекция

Паттерн нейронов-детекторов, настроенных на общий стимул, позволяет запустить собственную уникальную волну идентификатора. Это соответствует узнаванию образа и включению советующего понятия в описание происходящего. Чтобы идентификатор был уникальным, достаточно, чтобы нейроны-детекторы создавали свой узор, непохожий ни на один из волновых узоров, проходящих через их место расположения. Опишем простую модель, создающую такой паттерн.

Вернемся ненадолго к описанию механизмов нейронного взаимодействия. Основной путь передачи сигналов от одного нейрона к другому – это выброс из аксонной терминали передающего нейрона нейромедиаторов в синаптическую щель. На поверхности нейрона, принимающего сигнал, располагаются рецепторы, реагирующие на определенный нейромедиатор, являющийся для него лигандом. Часть рецепторов расположена в синапсах и отвечает за синаптическую передачу, часть за пределами синапсов и ответственна за волновую активность.

Нейромедиаторов существует достаточно много, включая нейроактивные пептиды, их насчитывается более полусотни. Наиболее распространенный активирующий нейротрансмиттер – глутамат, подавляющий – гамма-аминомасляная кислота (ГАМК). Способность активировать или подавлять не является свойством самого нейромедиатора, а определяется типом взаимодействующего с ним рецептора. Чтобы передача сигнала могла состояться, необходимо, чтобы нейромедиатор, выбрасываемый аксоном, и принимающие его рецепторы соответствовали друг другу.

До конца 80-х годов прошлого века считалось, что каждый нейрон выбрасывает один и тот же медиатор во всех терминалях своего аксона – «принцип Дейла». Но позже было показано, что существуют нейроны, использующие различные комбинации медиаторов.

Возьмем для моделирования нейроны двух гипотетических типов, работающие с одним медиатором, назовем его (A). Различие между типами нейронов будет в том, где у них будут располагаться рецепторы, чувствительные к общему медиатору (таблица ниже).

Синапсы

Вне синапсов

Аксон

Тип 1

A

А

Тип 2

A

А

Нейромедиаторные характеристики нейронов. Чувствительность рецепторов и выброс аксона

Нейроны первого типа не имеют в своих синапсах рецепторов, чувствительных к используемому медиатору. Но такие рецепторы есть у них на внесинаптической части мембраны. Это значит, что эти нейроны не способны к синаптическому обучению на картины активности, которые создаются нейронами, как первого, так и второго типа, но они способны обучаться на распространение волновой активности и быть передатчиками идентификационной волны.

Возьмем теперь зону коры, состоящую из нейронов обоих типов. Например, просто перемешаем их случайным образом. Наличие вкраплений нейронов второго типа никак не отразится на способности коры обучаться проводить волны идентификаторов, используя нейроны первого типа.

Предположим, что мы каким-то образом определили место на коре, где хотим создать детекторный паттерн.

Место, выбранное для обучения

Предположим, что мы решили все вопросы, связанные с обучением, и наша задача сейчас просто зафиксировать прототип. Сделаем это уже знакомым нам способом. Заставим нейроны второго типа, находящиеся в этой области и незанятые в обучении, поучаствовать в генерации случайных спайков. Установим вероятность спайка такой, чтобы получить столько активных нейронов, сколько нейронов-детекторов требуется нам в итоговом паттерне. Случайные спайки создадут уникальный узор из нейронов второго типа, локализованный в выбранной области.

Далее поступим в соответствии с принципом Хебба, используем активность нейронов второго типа как сигнал к их обучению. Изменим веса их синапсов в соответствии с наблюдаемой ими на их рецептивных полях волновой картиной. В результате мы получим паттерн нейронов-детекторов, настроенных на только что прошедший набор идентификаторов. Повторение волновой картины приведет к вызванной активации всех нейронов паттерна. Нейроны первого типа подхватят этот паттерн и превратят его в распространяющуюся волну нового идентификатора.

Мы получили очень простой, но замечательный результат. Определенное сочетание идентификаторов способно порождать свой собственный уникальный идентификатор.

Теперь несколько усложним модель. Добавим еще один медиатор (B) и изменим характеристики нейронов (таблица ниже).

Синапсы

Вне синапсов

Аксон

Тип 1

B

A

А

Тип 2

A

B

B

Характеристики нейронов, использующих два медиатора. Чувствительность рецепторов и выброс аксона

Поведение такой конструкции будет значительно интереснее. Нейроны второго типа, создав детекторный паттерн, не смогут распространить волну от него через нейроны первого типа, так как их тип аксонного медиатора не совпадает с внесинаптической чувствительностью нейронов первого типа. Но зато эти нейроны смогут сами распространить волну своего идентификатора. При этом интересно то, что входная и выходная активность коры окажется разделена. Если мы где-нибудь в стороне создадим выходной волновой туннель из аксонов нейронов второго типа, то он не передаст всю волновую картину, состоящую, в том числе, из множества входных признаков, а оттранслирует далее только описание, состоящие из распознанных понятий.

Изменение описания на зоне коры. 1 – выбранный участок обучения, 2 – область, излучающая входной идентификатор, 3 – область выхода, 4 – входной волновой туннель, 5 – выходной волновой туннель, 6 – входная волна идентификатора, 7 – выходная волна идентификатора

Но это еще не все. В той же выбранной области мы можем провести синаптическое обучение нейронов первого типа. Для них сигналом к обучению будет собственная волновая активность. Так как мы задали чувствительность синапсов нейронов первого типа только к медиатору (B), то картины, которые они воспримут – это узор того самого паттерна, что мы ранее обучили на нейронах второго типа. При этом сами нейроны-детекторы первого типа выстроятся в узор, повторяющий волну идентификаторов, которая прошла в момент обучения. Это значит, что если мы через встречный волновой туннель вернем на кору идентификатор понятия, обнаруженного ранее нейронами второго типа, то распространившись до выбранного места, он вызовет активность паттерна нейронов-детекторов первого типа. А так как эти нейроны повторяют узор фрагмента волны исходных идентификаторов, то их вызванная активность заставит распространиться по нейронам первого типа соответствующие идентификационные волны.

Таким образом, мы воспроизвели механизм обратной проекции. Такая кора способна транслировать информацию в обоих направлениях. В прямом направлении происходит интеграция признаков и изменение описания на более общее. В обратном направлении, получив соответствующий идентификатор, кора восстанавливает все соответствующие ему признаки и транслирует их вниз, если, конечно, есть соответствующая проекционная связь.

Мы получили достаточно простую конструкцию: в одну сторону – узнали понятие, в обратную сторону – восстановили признаки. Но эта простота двусторонней коммуникация является уникальным свойством для нейронных сетей. Традиционные сети идеологически однонаправленны, в них нельзя запустить сигнал «обратно по аксону» и этот недостаток не лечится никакими ухищрениями. При этом очевидно, что реальный мозг способен не только обобщать информацию, поднимая описание от уровня к уровню, делая его более абстрактным, но и транслировать описание обратно, превращая его в представляемые нами образы, внутреннюю речь, физические действия. Поэтому особенно радует, что наша конструкция позволяет достаточно естественно воспроизвести обратную проекцию, оставаясь в рамках механизмов, доступных и реальному мозгу.

Если заставить аксоны нейронов одного из типов генерировать сразу два медиатора, то мы получим распространение соответствующих идентификаторов сразу по двум слоям. Можно представить ситуации, где это окажется полезным. Вообще же комбинации медиаторов и рецепторов могут программировать самое неожиданное поведение коры. При этом приятно, что наша кора не требует никакой специальной топологической настройки. Нейроны образуют синаптические контакты со своим окружением, не заботясь о соблюдении каких-либо схем подключения. Очень похоже, что аналогичные архитектурные принципы свойственны и реальной коре.

Паттерны нейронов-детекторов

Предположим, на зону коры посредством волновых туннелей проецируется некая информация. Каждый из проекционных пучков – это аксоны нейронов, расположенных на той зоне, которая эту информацию проецирует. Проекция снимается с малого по площади участка коры. Волокна проекционного пучка, по сути, транслируют проходящие по этому участку волновые картины. То место принимающей коры, куда приходится проекция, само становится источником волн. Эти волны несут на принимающей зоне коры ту же информацию, что и волны на исходной зоне.

Если мы настроим веса какого-либо нейрона на узнавание определенного волнового узора, проходящего по его рецептивному полю, то мы превратим его в детектор, срабатывающий в тот момент, когда появляется характерное для него сочетание идентификаторов.

Если мы обучим несколько расположенных в относительной близости друг от друга нейронов детектировать одну и ту же волновую картину, то мы получим уже не одиночный нейрон-детектор, а детекторный паттерн. Реакция одного нейрона-детектора на характерный стимул – пакет импульсов вызванной активности. Реакция детекторного паттерна – это вызванная активность группы нейронов, образующих определенный узор. Естественно, что такой паттерн вызванной активности начнет обучать кору на распространение своего уникального идентификатора.

Получается, что когда зона коры получает описание, состоящее из определенных признаков, ее детекторные паттерны реагирует на знакомые им сочетания и порождают собственные волны, которые несут информацию о новых признаках, узнанных этой зоной. Таким образом, зона коры сначала обнаруживает статистические закономерности в поступающей на нее признаковой картине и формирует паттерны-детекторы, соответствующие этим закономерностям, а затем, получая описания в одних признаках, она генерирует собственное описание в тех признаках, что были выявлены ранее этой зоной.

Логику такого преобразования нейронных описаний можно сопоставить с логикой словесных описаний, что не удивительно, так как эти явления тесно связаны между собой. Предположим, мы видим различных зверей. Каждого из них мы можем описать набором признаков. Например, мы видим зверя с описанием: большой, коричневый, лохматый. Не зная, что это за зверь, мы можем так его и называть: большой-коричневый-лохматый. Само сочетание признаков образует идентификатор этого животного. Если этот зверь встречается нам часто, то мы можем зафиксировать закономерность того, что эти признаки встречаются совместно, и дать этому сочетанию собственное название, например — медведь. Далее мы можем оперировать понятием «медведь» как самостоятельным. При этом мы имеем возможность в случае необходимости восстановить по понятию «медведь» все его исходные признаки.

Говоря о реальном мире, удобно использовать термин «явление». Его удобство в его общности. Этот термин описывает не только предметы, но и происходящие с ними процессы. Любую воспринимаемую нами картину мы можем назвать явлением. Каждое явление, с которым мы сталкиваемся, порождает описание. Описание – это совокупность картины активности нейронов-детекторов, образующих паттерны, и порождаемых ими идентификационных волн.

Можно назвать паттерн нейронов-детекторов, срабатывающих на один образ, и соответствующую ему идентификационную волну понятием. Тогда можно говорить о том, что любое явление представляется мозгом, как набор описаний, состоящих из понятий. Для каждой зоны коры описание строится на своем наборе понятий.

Когда нейроны-детекторы выделяют какую-либо новую закономерность или фиксируют новое сочетание признаков так, что при этом образуется паттерн таких детекторов, которые способны порождать собственную уникальную волну, можно говорить о формировании нового понятия. Трактовкой этого понятия могут быть те события реального мира, которые создали такое сочетание признаков, и на которые теперь реагируют соответствующие нейроны.

Стабильность – пластичность

Хеббовское обучение очень наглядно. Его удобно использовать для иллюстрации сути итерационного обучения. Если говорить только об активизирующих связях, то по мере того, как нейрон обучается, его веса настраиваются на определенный образ. Для линейного сумматора активность определяется:

\[y=\sum_{i}\omega _{i}x_{i}\]

Совпадение сигнала с образом, который выделяется на синаптических весах, вызывает сильный ответ нейрона, несовпадение – слабый. Обучая по Хеббу, мы усиливаем веса тех синапсов, на которые поступает сигнал в моменты, когда и сам нейрон активен, и ослабляем те веса, на которых в это время нет сигнала.

Чтобы избежать бесконечного роста весов, вводят нормирующую процедуру, которая держит их сумму в определенных границах. Такая логика приводит, например, к правилу Ойа:

\[\omega _{i}(n+1)=\omega _{i}(n)+\eta y(n)(x_{i}(n)-y(n)\omega _{i}(n))\]

Самое неприятное в стандартном Хеббовском обучении – это необходимость вводить коэффициент скорости обучения , который необходимо уменьшать по мере обучения нейрона. Дело в том, что если этого не делать, то нейрон, обучившись на какой-либо образ, затем, если характер подаваемых сигналов изменится, переобучится на выделение нового фактора, характерного для изменившегося потока данных. Уменьшение же скорости обучения, во-первых, естественно, замедляет процесс обучения, а во-вторых, требует не очевидных методов управления этим уменьшением. Неаккуратное обращение со скоростью обучения может привести к «одеревенению» всей сети и невосприимчивости к новым данным.

Все это известно как дилемма стабильности-пластичности. Желание реагировать на новый опыт грозит изменением весов ранее обученных нейронов, стабилизация же приводит к тому, что новый опыт перестает влиять на сеть и просто игнорируется. Приходится выбирать либо стабильность, либо пластичность. Чтобы понять, какие механизмы могут помочь в решении этой проблемы, вернемся к биологическим нейронам. Разберемся чуть подробнее с механизмами синаптической пластичности, то есть с тем, за счет чего происходит синаптическое обучение реальных нейронов.

Суть явления синаптической пластичности в том, что эффективность синаптической передачи не постоянна и может меняться в зависимости от паттерна текущей активности. Причем продолжительность этих изменений может сильно варьироваться и обуславливаться разными механизмами. Различают несколько форм пластичности (рисунок ниже).

Динамика изменения синаптической чувствительности. (A) – фасилитация, (B) – усиление и депрессия, (C) – посттетаническая потенция (D) – долговременная потенция и долговременная депрессия (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

Короткий залп спайков может вызывать облегчение (фасилитацию) выделения медиатора из соответствующей пресинаптической терминали. Фасилитация появляется мгновенно, сохраняется во время залпа и существенно заметна еще около 100 миллисекунд после окончания стимуляции. То же короткое воздействие может привести к подавлению (депрессии) выделения медиатора, длящемуся несколько секунд. Фасилитация может перейти во вторую фазу (усиление), продолжительностью, аналогичной продолжительности депрессии.

Продолжительная высокочастотная серия импульсов обычно называется тетанусом. Название связано с тем, что подобная серия предшествует тетаническому мышечному сокращению. Поступление тетануса на синапс, может вызвать посттетаническую потенцию выделения медиатора, наблюдающуюся в течение нескольких минут.

Повторяющаяся активность может стать причиной долговременных изменений в синапсах. Одна из причин этих изменений – увеличение концентрации кальция в постсинаптической клетке. Сильное увеличение концентрации запускает каскады вторичных посредников, что ведет к образованию дополнительных рецепторов в постсинаптической мембране и общему увеличению чувствительности рецепторов. Более слабое увеличение концентрации дает обратный эффект – уменьшается количество рецепторов, падает их чувствительность. Первое состояние называется долговременной потенцией, второе – долговременной депрессией. Продолжительность таких изменений – от нескольких часов до нескольких дней (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003).

То, как изменится чувствительность отдельного синапса в ответ на поступление внешних импульсов, произойдет ли усиление или наступит депрессия, определяется многими процессами. Можно предположить, что главным образом это зависит от того, как складывается общая картина возбуждения нейрона и в какой стадии обучения он находится.

Описанное поведение синаптической чувствительности позволяет далее предположить, что нейрон способен к следующим операциям:

  • достаточно быстро настраиваться на определенный образ – фасилитация;
  • сбрасывать эту настройку через интервал порядка 100 миллисекунд или переводить ее в более продолжительное удержание – усиление и депрессия;
  • сбрасывать состояние усиления и депрессии или переводить их в долговременную потенцию или долговременную депрессию.

Такая этапность обучения хорошо соотносится с концепцией, известной под названием «теория адаптивного резонанса». Эта теория была предложена Стефаном Гроссбергом (Grossberg, 1987), как путь решения дилеммы стабильности-пластичности. Суть этой теории в том, что поступающая информация делится на классы. Каждый класс имеет свой прототип – образ, наиболее точно соответствующий этому классу. Для новой информации определяется, принадлежит ли она к одному из существующих классов, либо она является уникальной, непохожей ни на что предыдущее. Если информация неуникальна, то она используется для уточнения прототипа класса. Если же это что-то принципиально новое, то создается новый класс, прототипом которого ложиться этот образ. Такой подход позволяет, с одной стороны, создавать новые детекторы, а с другой стороны, не разрушать при этом уже созданные.

Сеть адаптивного резонанса АРТ

Практическая реализация этой теории – сети АРТ. Сначала сеть АРТ не знает ничего. Первый же поданный на нее образ создает новый класс. Сам образ копируется как прототип класса. Следующие образы сравниваются с существующими классами. Если образ оказывается близок к уже созданному классу, то есть вызывает резонанс, то происходит корректирующее обучение образа класса. Если же образ оказывается уникален и не похож ни на один из прототипов, то создается новый класс, при этом новый образ становится его прототипом.

Если предположить, что формирование нейронов детекторов в коре происходит схожим образом, то фазам синаптической пластичности можно дать следующее толкование:

  • нейрон, еще не получивший специализацию как детектор, но пришедший в активность за счет волновой активации, оперативно меняет веса своих синапсов, настраиваясь на картину активности своего рецептивного поля. Эти изменения носят характер фасилитации и продолжаются порядка одного такта волновой активности;
  • если оказалось, что в ближайшем окружении уже достаточно нейронов-детекторов, настроенных на такой стимул, то нейрон сбрасывается в исходное состояние, в противном случае его синапсы переходят в стадию более длительного удержания образа;
  • Если в течение стадии усиления выполнились определенные условия, то синапсы нейрона переходят в стадию долговременного хранения образа. Нейрон становится детектором соответствующего стимула.

А теперь попробуем немного систематизировать представление о процедурах обучения, уместных для искусственных нейронных сетей. Оттолкнемся от целей обучения. Будем полагать, что нам хочется в результате обучения получить нейроны-детекторы, удовлетворяющие двум основным требованиям:

  • чтобы с их помощью можно было достаточно полно и адекватно описывать все происходящее;
  • чтобы такое описание вычленяло основные закономерности, свойственные происходящим событиям.

Первое позволяет, запоминая, накопить информацию, не упустив при этом детали, которые впоследствии могут оказаться важными закономерностями. Второе обеспечивает наглядность тех факторов в описании, от которых может зависеть принятие решений.

Хорошо известен подход, основанный на оптимальном сжатии данных. Так, например, используя факторный анализ, мы можем получить главные компоненты, на долю которых приходится основная доля изменчивости. Оставив значения нескольких первых компонент и отбросив остальное, мы сможем значительно уменьшить длину описания. Кроме того, значения факторов расскажут нам о выраженности в описываемом событии тех явлений, которым эти факторы соответствуют. Но такое сжатие имеет и обратную сторону. Для реальных событий первые главные факторы объясняют в совокупности обычно лишь небольшой процент общей дисперсии. Каждый их малозначимых факторов хотя и уступает во много раз по величине первым факторам, но именно сумма этих малозначимых факторов отвечает за основную информацию.

Например, если взять несколько тысяч кинофильмов и получить их оценки, проставленные сотнями тысяч пользователей, то с такими данными можно провести факторный анализ. Наиболее значимыми окажутся первые четыре – пять факторов. Они будут соответствовать основным жанровым направлениям кинематографа: боевик, комедия, мелодрама, детектив, фантастика. Для российских пользователей кроме того выделится сильный фактор, описывающий наше старое советское кино. Выделенные факторы имеют простую интерпретацию. Если описать какой-либо фильм в пространстве этих факторов, то это описание будет состоять из коэффициентов, говорящих, насколько тот или иной фактор выражен в данном фильме. Каждый пользователь имеет определенные жанровые предпочтения, которые влияют на его оценку. Факторный анализ позволяет вычленить основные направления этого влияния и превратить их в факторы. Но оказывается, что первые значимые факторы объясняют всего около 25% дисперсии оценок. Все остальное приходится на тысячи остальных мелких факторов. То есть если мы попытаемся сжать описание фильма до его портрета в главных факторах, мы потеряем основной объем информации.

Кроме того, нельзя говорить о неважности факторов с малой объясняющей способностью. Так, если взять несколько фильмов одного режиссера, то их оценки, скорее всего, окажутся тесно коррелированы между собой. Соответствующий фактор будет объяснять существенный процент дисперсии оценок этих фильмов, но только этих. Это значит, что поскольку этот фактор не проявляется в других фильмах, то его объясняющий процент во всем объеме данных будет ничтожен. Но именно для данных фильмов он будет значительно важнее, чем первые главные компоненты. И так практически для всех малых факторов.

Рассуждения, приведенные для факторного анализа, можно переложить и на другие методы кодирования информации. Дэвид Филд в статье 1994 года «Какова цель сенсорного кодирования?» (Field, 1994) рассмотрел подобные вопросы относительно механизмов, свойственных мозгу. Он пришел к выводу, что мозг не занимается сжатием данных и не стремится к компактному виду данных. Мозгу более удобно их разряженное представление, когда имея для описания множество различных признаков, он одновременно использует только малую их часть (рисунок ниже).

Компактное кодирование (A) и экономное распределенное кодирование (B) (Field, 1994)

И факторный анализ, и многие другие методы описания отталкиваются от поиска определенных закономерностей и выделения соответствующих факторов или признаков классов. Но часто встречаются наборы данных, где этот подход практически неприменим. Например, если мы возьмем положение часовой стрелки, то окажется, что у нее нет предпочтительных направлений. Она равномерно движется по циферблату, отсчитывая день за днем. Чтобы передать положение стрелки, нам не надо выделять какие-либо факторы, да они и не выделятся, а достаточно разбить циферблат на соответствующие секторы и пользоваться этим разбиением. Очень часть мозг имеет дело с данными, которые не подразумевают деления, учитывающего плотность распределения событий, а просто требуют введения какого-либо интервального описания. Собственно, принцип адаптивного резонанса и предлагает механизм создания такого интервального описания, способный работать даже тогда, когда пространство данных представляет собой достаточно равномерную распределенную среду.

Выделение главных компонент или фиксация прототипов адаптивного резонанса – это далеко не все методы, позволяющие нейронным сетям обучать нейроны-детекторы, удобные для формирования систем описания. Собственно, любой способ, который позволяет либо получить здравое деление на группы, либо выделить какую-либо закономерность, может использоваться нейронной сетью, воспроизводящей кору мозга. Очень похоже, что реальная кора эксплуатирует множество различных методов, не ограничиваясь теми, что мы привели для примера.

Выделение волновых факторов

Возьмем произвольный нейрон коры (рисунок ниже). У него есть рецептивное поле, внутри которого он имеет густую сеть синаптических соединений. Эти соединения охватывают как окружающие его нейроны, так и входящие в кору аксоны, несущие сигналы от других участков мозга. Благодаря этому нейрон способен следить за активностью небольшой окружающей его области. Если на зону коры, к которой он принадлежит, приходится топографическая проекция, то нейрон получает сигналы с тех аксонов, что попадают в его рецептивное поле. Если на коре существуют активные паттерны вызванной активности, то нейрон видит фрагменты идентификационных волн от них, когда они проходят мимо него. Аналогично с волнами, которые возникают от волновых туннелей, переносящих волновую картину от одной области мозга к другой.

Источники информации для выделения фактора. 1 – нейрон коры, 2 – рецептивное поле, 3 – топографическая проекция, 4 – паттерн вызванной активности, 5 – волновой туннель

В активности, видимой нейроном на своем рецептивном поле, независимо от ее происхождения, соблюдается главный принцип – каждое уникальное явление вызывает свой уникальный, присущей только этому явлению узор. Повторяется явление – повторяется и паттерн активности, видимый нейрону.

Если происходящее содержит несколько явлений, то друг на друга накладывается несколько узоров. При наложении паттерны активности могут не совпасть по времени, то есть фронты волн могут разминуться. Чтобы учесть это, выберем показательный временной интервал, равный периоду одного волнового цикла. Накопим для каждого синаптического входа нейрона активность за этот промежуток времени. То есть просто просуммируем, сколько спайков пришло на тот или иной вход. В результате мы получим вектор входа, описывающий интегрированную за цикл картину синаптической активности. Имея такой входной вектор, мы можем использовать для нейрона все описанные ранее методы обучения. Например, мы можем превратить нейрон в фильтр Хебба и заставить его выделить главную компоненту, содержащуюся во входном потоке данных. По своему смыслу это будет выявление тех входов, на которых чаще всего входящие сигналы проявлялись совместно. Применительно к идентификационным волнам – это означает, что нейрон определит, какие волны обладают закономерностью появляться время от времени вместе, и настроит свои веса на узнавание этого сочетания. То есть, выделив такой фактор, нейрон станет проявлять вызванную активность, когда будет узнавать знакомое ему сочетание идентификаторов.

Таким образом, нейрон приобретет свойства нейрона-детектора, настроенного на определенное явление, детектируемое по своим признакам. При этом нейрон не просто будет срабатывать как датчик наличия (есть явление – нет явления), он будет уровнем своей активности сигнализировать о выраженности того фактора, на который он обучился. Интересно, что при этом не принципиальна природа синаптических сигналов. С одинаковым успехом нейрон может настраиваться на обработку волновых паттернов, паттернов топографической проекции или их совместную активность.

Надо отметить, что Хеббовское обучение, выделяющее первую главную компоненту, приведено чисто иллюстративно, чтобы показать, что локальное рецептивное поле любого нейрона коры содержит всю необходимую информацию для обучения его как универсального детектора. Реальные алгоритмы коллективного обучения нейронов, выделяющие множество разнообразных факторов, организованы несколько сложнее.

Интерфейс

Надо отметить, что концепция волнового распространения идентификаторов открывает достаточно простой путь к созданию полноценных нейроинтерфейсов между человеком и компьютером.

Судить о том, какие мысли рождает мозг, можно разными способами. Наиболее простой путь – это анализ показаний многоточечной энцефалограммы. Так как разные мысли вызывают отличные друг от друга картины активности зон коры, то определенные закономерности могут быть отслежены и впоследствии использованы. Понять мысли таким способом невозможно, но можно приблизительно отличить друг от друга разные формы мозговой активности. При желании это можно использовать для простых систем управления, не требующих высокой точности или быстродействия.

Более продвинутые методы – это фиксация, например, с помощью магнитно-резонансного томографа, уровня насыщения кислородом кровотока на пространстве коры, что позволяет судить о местах, где сосредоточена наибольшая нейронная активность. Пространственное разрешение при этом во много крат выше, чем при использовании энцефалографа. Для первичной зрительной коры, где сохраняется топографичность проекции, такой метод хоть очень грубо и инерционно, но позволяет заглянуть в мысли человека (рисунок ниже).

Результаты реконструкции изображений (Shinji Nishimoto, An T. Vu, Thomas Naselaris, Yuval Benjamini, Bin Yu, Jack L. Gallant, 2011)

Магнитно-резонансный томограф громоздок и неприменим для внелабораторного использования. Но существует и более простой способ измерения параметров мозгового кровотока – это локальная спектроскопия в инфракрасном диапазоне. Отдельный датчик состоит из источника инфракрасного излучения и оптического приемника отраженного сигнала. По изменению спектра поглощения можно судить о процессах, происходящих непосредственно под датчиком. Используя комбинацию инфракрасных и электроэнцефалографических датчиков, компания Honda создала интерфейс, позволяющий с достаточно высокой точностью управлять человекоподобным роботом (Honda Research Institute Japan Co., 2009).

Комплекс Honda (Honda Research Institute Japan Co., 2009)

Еще большую детализацию активности коры в пространстве и времени позволяют получить упомянутые ранее оптические методы, но и они дают представление только о коллективной активности тысяч расположенных рядом нейронов.

Усреднение активности нейронов по любому участку коры теряет информацию об индивидуальности волнового паттерна. По этой активности можно строить грубые предположения о том, что происходит с мозгом, но нельзя получить доступ к тонким информационным процессам. Что-то подобное можно наблюдать с компьютерами. По активности работы отдельных модулей и по анализу излучаемых компьютером частот можно судить о том, какого типа задачи он выполняет. Для некоторых программ можно даже наловчиться угадывать отдельные действия, но все это совсем не то по сравнению тем, какие возможности дает подключение к информационным шинам.

Добраться до непосредственной активности сразу многих нейронов сейчас позволяют методы вживления электродных массивов. В 2004-2005 годах был проделан первый эксперимент по имплантации такого датчика полностью парализованному пациенту. В результате удалось добиться более-менее адекватного управления рукой-протезом (Leigh R. Hochberg, Mijail D. Serruya, Gerhard M. Friehs, Jon A. Mukand, Maryam Saleh,Abraham H. Caplan, Almut Branner, David Chen, Richard D. Penn, John P. Donoghue, 2006) (рисунок ниже).

  

a) Матрица электродов на одноцентовой монете и вставляемый в череп разъем.  b) Массив из ста электродов. с) Расположение массива. d) Первый пациент с установленным интерфейсом (Leigh R. Hochberg, Mijail D. Serruya, Gerhard M. Friehs, Jon A. Mukand, Maryam Saleh,Abraham H. Caplan, Almut Branner, David Chen, Richard D. Penn, John P. Donoghue, 2006)

Массив электродов, использовавшийся в эксперименте, не отличался особой точностью подключения к коре. Только часть электродов фиксировала импульсы отдельных нейронов, остальные передавали суммарную активность нейронных групп. Но даже этого в эксперименте хватило для того, чтобы отфильтровать вполне полезную информацию.

Когда прогресс технологий позволит снять с малой области мозга активность хотя бы нескольких сотен нейронов, как мне видится, этого будет достаточно, чтобы создать искусственный волновой туннель, аналогичный тем туннелям, что соединяют между собой различные зоны коры. Анализ паттернов волновой активности позволит не просто отследить состояние нейронов-детекторов малого участка коры, он позволит увидеть проходящие через него информационные волны и, соответственно, составить представление обо всех понятиях, с которыми работает эта зона коры. Мне кажется, что десяток таких туннелей, отведенных из разных зон мозга, позволит передать на компьютер практически полную картину человеческой мысли. Это не будет фотографическая картина того, что мы видим, или звук того, что мы слышим, но это будет полноценное воспроизведением того, о чем мы думаем.

Если наша концепция верна, то волновые туннели могут и считывать информацию, и транслировать ее обратно. Для передачи информации от компьютера к человеку можно либо воспроизводить паттерны ранее считанных идентификаторов, либо генерировать уникальные собственные. В последнем случае мозг надо будет обучить сопоставлять создаваемые компьютером волны с теми понятиями, что уже известны человеку.

Если взять двух людей и подключить их к компьютеру, а затем осуществить с его помощью перекодировку паттернов, переводя узоры, характерные для одного, в узоры, соответствующие тем же понятиям у другого, то получится телепатический интерфейс, та самая корона профессора Казарина из Кира Булычева.

Возможности волнового интерфейса не ограничиваются телепатическим общением человека и компьютера или людей между собой. Если на компьютере воспроизвести кору мозга, то можно добиться, чтобы в процессе совместного существования она впитала в себя существенный объем памяти и индивидуальности человека. Возможно, для полновесного переноса личности понадобятся годы совместной жизни с подключенным компьютером, но потенциально это открывает возможность «переселения души». Если фантазировать дальше, то ничто не мешает подключить обученный компьютер к чистому биологическому мозгу и провести постепенный обратный перенос. Конечно, интересно порассуждать о том, что будет с самосознанием при таких путешествиях, но это тема отдельного разговора.

Заканчивая краткий экскурс в теорию переселения душ, отмечу, что если миграция человеческого разума на компьютер – это вопрос достаточно сложный, то вот научить говорить животных, при наличии волнового интерфейса – задача куда более простая. Компьютер может помочь компенсировать животным отсутствие зон Брока и Вернике, и смоделировать хотя бы на начальном уровне речевые функции.

Система проекций

В нашей модели информация кодируется одновременно двумя способами. Первый способ – это паттерны вызванной активности, соответствующие обнаруженным нейронами-детекторами явлениям. Второй – волны идентификаторы, распространяющиеся от паттернов вызванной активности и несущие уникальные узоры. Уникальность узора каждой из волн позволяет на удалении от источника сигнала узнать о его активности. При таком подходе хорошо объясняется сформулированное Мак-Каллоком и Питсом несоответствие между объемом зон коры и количеством волокон в пучках, проецирующих информацию от них на другие зоны.

Из наших рассуждений вытекает, что мозгу свойственны два типа проекций. Первый наиболее понятный тип – это так называемое топографическое отображение. Например, зрительный сигнал от глаз по зрительным нервам распространяется до хиазмы. Там волокна перераспределяются так, что одно полушарие получает волокна только от левых, а другое только от правых половин сетчатки. Далее по зрительному тракту информация поступает в наружное коленчатое тело, а оттуда на зрительную кору. Зрительный нерв содержит порядка миллиона волокон, что соответствует разрешению, которое доступно глазу. На первичную зрительную кору эта информация проецируется через зрительную радиацию. Зрительная радиация – это равномерное распределение пучка нервных волокон по всей площади первичной зрительной коры (рисунок ниже). Топографичность этого отображения заключается в том, что сигналы, соседствующие на сетчатке, оказываются рядом и в своей проекции на кору. При такой передаче сохраняется позиционность сигналов. Изображение от каждого места сетчатки попадает в свою область коры, что позволяет сохранить информацию о взаимном расположении объектов.

Зрительный путь (Хьюбел, 1988)

Аналогично, с сохранением топографической упорядоченности, проецируются сигналы и на сенсорные зоны. Отсюда возникает знаменитая карта Пенфилда, иллюстрирующая представительства различных частей тела на сенсорной и моторной коре (рисунок ниже).

Человек Пенфилда

Традиционные иерархические многослойные нейронные сети, за неимением лучшего, скопировали принцип топографической проекции, задекларировав уменьшение размера слоев и увеличение исходных рецептивных полей их нейронов по мере продвижения информации наверх.

Однако реальная система связей в белом веществе мозга принципиально иная. Между зонами коры нет «толстых» соединяющих их проекционных путей, способных к глобальной передаче картины активности от одной зоны к другой. Вся система проекций состоит из относительно тонких пучков. Причем контакты этих пучков с зонами коры не расходятся веером и не образуют радиации, а имеют локальные «точечные» соединения. Это особенно хорошо видно на реальных изображениях белого вещества, где отдельно прослежено каждое из направлений проекции (рисунок ниже).

Структура белого вещества мозга (Fallon)

Можно достаточно уверенно утверждать, что соединения между зонами коры осуществляется не топографическими проекциями, а связями принципиально иного типа. Назовем этот второй тип связей волновыми туннелями.

Возьмем пару зон коры и соединим у них две малые, произвольно выбранные области. Сделаем это так, чтобы активность верхней области копировалась на нижнюю область (рисунок ниже). При этом можно не заботиться о топографичности проекции. Можно перемешать проецирующие волокна, а кроме того пропустить часть из них, сделав проекцию разряженной.

Волновой туннель

Такое соединение никак не поможет нам с передачей всей картины активности передающей зоны. Но оказывается, что всю картину передавать и не надо. Через каждое место коры проходят идентификационные волны, которые несут информацию обо всех устойчивых паттернах этой зоны. То есть если зона коры научилась реагировать на определенные образы, то и на маленькой ее области мы увидим все существующие идентификаторы. Все в точности как в оптической голограмме, где каждый фрагмент хранит информацию обо всем изображении.

Это значит, что, передав активность малого участка коры от одной зоны на другую, мы получим на принимающей зоне участок, генерирующий определенные паттерны, ничем не отличающиеся, по сути, от тех, что возникают при распространении волн. Такой участок обязательно начнет обучать свою кору распространению повторяющихся узоров. Со временем это приведет к тому, что идентификационные волны будут транслироваться через такой туннель и продолжать свое распространение на принимающей коре.

Этот процесс хорошо наблюдается при моделировании. Ниже приведены две сопоставленные по времени картины распространения волн. Верхний рисунок – проецирующая кора, нижний – кора принимающая. Квадратами выделены области, связанные туннелем.

Активность проецирующей коры

Активность принимающей коры. Изображения соответствуют аналогичным тактам проецирующей коры

Видео моделирования:

Видно, что когда волна проходит через область туннеля на передающей зоне коры, она запускает волну на принимающей зоне (показаны уже обученные зоны). Важно, что получившаяся волна сохраняет все свойства исходного идентификатора. Для каждого явления, как и на исходной коре, на коре-получателе вызывается свой характерный только для этого явления узор распространения.

Встречные проекции

Если две зоны коры соединить встречными проекциями (рисунок выше), то можно получить интересный эффект. Идентификатор от первой зоны будет переходить на вторую зону, распространяться там, а затем возвращаться обратно и распространяться от места контакта волнового туннеля. При этом, если передача между зонами происходит по миелинизированным волокнам, скорость распространения импульса в которых составляет порядка 100 м/с, то время пробега сигнала туда-обратно для зон, расположенных в 10 сантиметрах друг от друга, при близко контактирующих проекционных пучках можно оценить в несколько миллисекунд. Это означает, что для волны идентификаторов с периодом порядка 100 миллисекунд возвратившийся сигнал практически сольется с основной волной. А значит, будет учтен как часть существующего идентификатора.

В результате, если на второй зоне коры каким-либо способом будет воспроизведен идентификатор, пришедший ранее с первой зоны, то он, перейдя по волновому туннелю обратно на первую зону, вызовет там уже известную этой зоне идентификационную волну. Такой механизм позволяет не просто передавать информацию от одной зоны к другой, но и возвращать ее в виде, понятном для обеих зон коры.

Если сравнивать топографическую и волновую проекцию, то каждая хороша для своих целей. Топографическая проекция необходима там, где нельзя потерять информацию, связанную с взаимным расположением активных элементов. Волновая проекция удобна тогда, когда удается сформировать описание, построенное на простом перечислении понятий.

Общая информационная картина, которой оперирует мозг – это совокупность описаний. Каждая из зон коры формирует описание в факторах, свойственных именно ей. При этом кроме набора факторов у зон различается и форма описания. Топографическая форма сохраняет свойства, характерные для изображения, когда значение имеет взаимное пространственное расположение элементов. Волновая форма описания эквивалентна неупорядоченному перечислению факторов, показавших свою активность.

Кроме решения проблемы узости каналов волновая модель позволяет снять существенное противоречие, свойственное традиционным моделям, связанное с локальностью рецептивных полей нейронов верхних уровней. Суть противоречия в том, что с каждым новым уровнем нейроны должны выделять все более обобщенные признаки и понятия, но для этого им необходим все более широкий охват наблюдаемых свойств. Поскольку реальные нейроны на всех уровнях имеют ограниченные рецептивные поля, то классическая модель испытывает определенные затруднения в объяснении этого.

Если вспомнить неокогнитрон, то все его сложные нейроны должны обслуживаться плоскостями простых клеток. Простые клетки, входящие в одну плоскость, имеют одинаковые веса и следят одновременно за всеми возможными участками предыдущего слоя. Там, где у нас волна доставляет до каждого места необходимую информацию, в неокогнитроне в каждой позиции набор простых нейронов сканирует всю поверхность на наличие требуемого паттерна. Такое сканирование требует тотальности слежения, так как смещение всего на одну позицию полностью меняет паттерн. Как некий способ облегчить проблему можно использовать размывание (рисунок ниже). При размывании требование к тотальности несколько ослабевает, так как каждый простой нейрон приобретает способность реагировать в определенном диапазоне сдвига.

 

Улучшение узнавания при размывании (Fukushima K. , 2013)

Но то, что можно как-то использовать для первичной обработки изображений, оказывается плохо применимо для более абстрактных зон коры, где паттерны вызванной активности имеют «острую» настройку.

Использование волнового представления полностью снимает вопрос локальности рецептивных полей. Получается, что нейрон не должен своими синапсами следить за всей корой. Если «кора» не идет к Магомету, то Магомет идет к «коре». Волны идентификаторов сами приносят каждому нейрону всю необходимую информацию, для восприятия которой ему вполне достаточно только плотного слежения за своим ближайшим окружением, которое полностью показывает ему характер проходящих мимо волн.

Из волновой модели проистекает несколько свойств, хорошо согласующихся с существующими представлениями о системе проекций реального мозга:

  • волновые туннели компактны по площади контакта с корой, а значит, несколько контактных площадок могут существовать, не мешая друг другу;
  • туннели не критичны к месту снятия информации и к месту захода в кору;
  • туннели не требуют тотального снятия активности всех нейронов контактной области;
  • для туннелей непринципиально сохранение упорядоченности волокон, волокна могут быть случайно перемешаны внутри одного пучка, что никак не влияет на результат передачи.

Из волновой парадигмы проистекает понимание информационных процессов, свойственных мозгу, достаточно сильно отличающееся от того, что мы привыкли использовать для описания компьютерных систем. Традиционный компьютер содержит множество узлов, каждый из которых выполняет свою функцию. Программы содержат множество модулей, ориентированных на выполнение определенных задач. Узлы на физическом уровне, а программные модули на логическом обмениваются данными. Результат – выполнение наперед заданных алгоритмов. Неисправность или ошибка в каком-либо элементе в большинстве случаев ведут к невозможности завершения алгоритма.

Мозг содержит зоны коры, которые, обучаясь, приобретают свою специализацию. Суть специализации – это то, в каких терминах зона коры будет строить свое описание. Описание, созданное какой-либо зоной коры, через систему проекций становится доступно всем тем зонам, с которыми у нее есть проекционный контакт. Система проекций эволюционно приобрела такую конфигурацию, которая позволяет получить наиболее полное отображение происходящего.

Визуализация системы проекций мозга обезьяны (IBM Research)

Надо отметить, что кроме проекций, передающихся через проекционные волокна, информация может распространяться от одной зоны к другой, просто пересекая условную границу зон. Волна идентификаторов, дойдя до края зоны, может распространиться дальше на соседнюю зону. Произойдет это или нет, может определяться совпадением или несовпадением типов нейромедиаторов и внесинаптических рецепторов, характерных для нейронов этих зон. Если это так, то существующие схемы проекционных связей стоит дополнить такими «соседскими» проекциями.

Описываемая проекционная идеология обладает удивительной отказоустойчивостью. Отключение какой-либо зоны не ведет к сбою всей конструкции, а только делает беднее систему описаний. Ошибка на какой-либо зоне не носит фатальный характер, так как может быть компенсирована работой остальных зон.

Работу мозга можно сравнить с системой информационных агентств, газет и сайтов. Все они публикует свое описание происходящего. Многие заимствуют информацию друг у друга. Информация может преподноситься и интерпретироваться каждым из них индивидуально. Некоторые имеют свою специализацию: кто-то имеет уклон на политические новости, кто-то на новости культуры или техники. Выключение одного из источников не ломает всю систему, а только слегка обедняет информационное пространство. Каждый из участников не следит тотально за всеми остальными, а имеет свой устоявшийся список отслеживания, куда входят источники, наиболее интересные именно для него.

Приведу еще аналогию. Представьте систему институтов, которые совместно работают над глобальным проектом. Можно разбить работу на части и дать институтам узкие непересекающиеся задания. Когда каждый из них выполнит свою работу, останется сложить все вместе и получить итоговый проект. Другой подход – навалиться всем сразу и, дублируя друг друга, кооперируясь, используя чужие разработки, создать несколько вариантов и затем выбрать из них лучший. Очевидно, что первый вариант имеет множество плюсов, как минимум, понятность и контролируемость происходящего. Во втором варианте процесс не очевиден, а результат не гарантирован. Но оказывается, что по мере обучения и приобретения конкурентного опыта, при правильной системы стимулирования, второй вариант может дать результаты, значительно превосходящие первую схему.

Волны мозга

Итак, в нашей модели текущее состояние мозга складывается из двух существующих параллельно картин. Первая – это картина вызванной активности нейронов. Она создает описание происходящего через активность ранее сформированных факторов. Вторая картина – это глобальный рисунок фоновой активности.

Отголоски фоновой активности наблюдают, фиксируя электроэнцефалограмму. Записываемые сигналы имеют сложную форму и зависят от места приложения электродов к голове, но, тем не менее, в них достаточно четко прослеживаются отдельные гармонические составляющие. Основные ритмы получили названия:

  • альфа-ритм (от 8 до 13 Гц);
  • бета-ритм (от 15 до 35 Гц);
  • гамма-ритм (от 35 до 100 Гц);
  • дельта-ритм (от 0,5 до 4 Гц);
  • тэта-ритм (от 5 до 7 Гц);
  • сигма-ритм «веретена» (от 13 до 14 Гц).

Природу ритмов традиционно принято соотносить с осциляторными свойствами нейронов. Так, поведение одиночного нейрона описывается уравнениями Ходжкина-Хаксли (Hodgkin, 1952):

\[\begin{cases} C_{m}\frac{dV}{dt}=I_{ion}; \\\frac{dm}{dt}=\alpha _{m}(V)(1-m)+\beta _{m}(V)m; \\\frac{dh}{dt}=\alpha _{h}(V)(1-h)+\beta _{m}(V)h; \\\frac{dn}{dt}=\alpha _{n}(V)(1-n)+\beta _{m}(V)n; \end{cases}\] \[I_{ion}=-g_{Na}m^{3}h(V-V_{Na})-g_{k}n^{4}(V-V_{k})-g_{e}(V-V_{e}) \\ \alpha _{m}(V)=0,1(25-V)/((exp(25-V)/10)-1) \\ \beta _{m}(V)=4exp(-V/18) \\ \alpha _{h}(V)=0,07exp(-V/20) \\ \beta _{h}(V)=1/(1+exp((30-V)/10)) \\ \alpha _{n}(V)=0,01(10-V)/(1+exp((10-V)/10)) \\ \beta _{n}(V)=0,125exp(-V/80)\]

Эти уравнения определяют автоволновой процесс, то есть предписывают нейрону генерировать импульсы. Модель Ходжкина-Хаксли сложна для моделирования. Поэтому существует достаточно много ее упрощений, сохраняющих основные генерирующие свойства. Наиболее популярные модели: Фитцхью-Нагумо (Fitzhugh, 1961), Моррис-Лекара (Morris C., Lecar H., 1981), Хиндмарш-Роуз (Hindmarsh J. L., and Rose R. M., 1984). Многие модели, например, Хиндмарш-Роуз позволяют смоделировать как пачечную активность, так и обособленные спайки (рисунок ниже).

Пачечная активность и спайки, возникающие при моделировании нейрона Хиндмарш-Роуз

Объединяя нейроны, генерирующие собственные импульсы, в конструкции, напоминающие строение реальной коры, удается воспроизвести различные эффекты, характерные для групповой активности реальных нейронов. Например, можно добиться глобальной синхронизации нейронной активности или вызвать появление волн. Наиболее известные модели: Вилсона-Кована (H.R. Wilson and J.D. Cowan, 1972) и Куромото (Kuramoto, 1984).

Электроэнцефалограмма фиксирует отголоски совместной активности нейронов, но понятно, что у этой активности есть определенная пространственно-временная организация. Методы оптического наблюдения за активностью коры позволяют увидеть ее в живую. У подопытного животного обнажают участок коры и вводят специальный краситель, чувствительный к изменениям электрического потенциала. Под воздействием суммарных колебаний мембранного потенциала нейронов такой краситель меняет свои спектральные свойства. И хотя эти изменения крайне малы, они, тем не менее, могут быть зафиксированы, например, с помощью диодного массива, выполняющего роль высокоскоростной видеокамеры. Оптические методы не позволяют заглянуть вглубь коры и проследить активность отдельных нейронов, но они дают возможность составить общее представление о течении волновых процессов на ее поверхности.

Схема оптической фиксации активности коры (Michael T. Lippert, Kentaroh Takagaki, Weifeng Xu, Xiaoying Huang, Jian-Young Wu , 2007)

Оказалось, что ритмам мозга соответствуют волны, возникающие в точечных источниках и распространяющиеся по коре, как круги по воде. Правда, фронт волны на воде расходится строго по кругу, а фронт волны активности нейронов мозга может распространяться более сложным образом. На рисунке ниже показаны картины распространения волн на 5 миллиметровом участке коры мозга крысы.

Картина распространения волны активности на участке коры мозга крысы. Потенциал показан градиентом от синего к красному. 14 кадров с интервалом 6 миллисекунд покрывают один цикл распространения волны (84 миллисекунды – 12 Гц) (Michael T. Lippert, Kentaroh Takagaki, Weifeng Xu, Xiaoying Huang, Jian-Young Wu , 2007)

Очень интересные и показательные видеозаписи волновой активности приведены в работе (W.-F. Xu, X.-Y. Huang, K. Takagaki, and J.-Y. Wu, 2007). Там показано, что волны могут уплотняться, доходя до границы зоны коры, могут отражаться от другой зоны и создавать встречную волну, могут распространяться двойными спиралями и создавать вихри.

Компрессия и отражение волны в первичной зрительной коре (W.-F. Xu, X.-Y. Huang, K. Takagaki, and J.-Y. Wu, 2007)

Видео из той же работы (W.-F. Xu, X.-Y. Huang, K. Takagaki, and J.-Y. Wu, 2007):

Используя модели осциллирующих нейронов, можно и в компьютерных экспериментах получить аналогичные волновые картины. Но сама по себе такая пульсация не несет большого смысла. Вполне разумно предположить, что волны активности – это механизм переноса и обработки информации. Но попытки в традиционных моделях объяснить природу этого механизма не дали ощутимых результатов. Кажется логичным допустить, что информация кодируется частотными и фазовыми характеристиками нейронных сигналов. Но это приводит к необходимости учитывать интерференционные процессы и ставит больше вопросов, чем вносит ясности.

Существует гипотеза, что волны «сканируют» кору, считывая с нее информацию для последующей ее передачи (Pitts W., McCulloch W.S., 1947). Это выглядит достаточно здраво, по крайней мере, относительно альфа-волн и первичной зрительной коры. Авторы этой гипотезы Мак-Каллок и Питс особо подчеркивали, что сканирование позволяет объяснить один важный феномен. Дело в том, что информация от первичной зрительной коры проецируется далее по волокнам белого вещества через пучки аксонов, явно недостаточные по своему объему для одновременной передачи всего состояния этой зоны коры. А значит, делали вывод они, сканирование позволяет использовать не только пространственный, но и временной код, что обеспечивает последовательную передачу требуемой информации.

Такая проблема узости проецирующих пучков существует не только для первичной зрительной коры, но и для всех остальных зон мозга. Количество волокон в проекционных путях много меньше количества нейронов, формирующих пространственную картину активности. Связи между зонами явно не в состоянии параллельно передать весь пространственно распределенный сигнал, а значит, требуется понимание того, как происходит сжатие и распаковка транслируемой по ним информации. Предположение о сканировании, хотя и не дает ответа на вопрос о самом механизме кодирования, тем не менее позволяет поставить перед собой правильные вопросы.

Наша модель в объяснении ритмов мозга опирается на приведенное выше описание природы метаботропной активности. Использование представления о том, что в процесс создания ритмов вовлечены не только синапсы нейронов, но и метаботропные рецептивные кластеры, позволяет получить результат, качественно отличающийся от всех классических теорий. Но перед тем как перейти к описанию этого, хочу сделать предупреждение. Я сознательно буду описывать упрощенные идеализированные модели, ставя им в соответствие определенные процессы, свойственные реальному мозгу, но, не утверждая, что мозг работает именно так. Наша задача – показать базовые принципы, понимая, что эволюция ушла далеко вперед и их подлинная реализация значительно хитрее. Можно провести аналогию с развитием вычислительной техники. Современный компьютер достаточно сложен, и если мы начнем описывать базовые принципы классических вычислительных устройств, то окажется, что в чистом виде их уже практически невозможно встретить в современных системах. Базовое представление – процессор считывает из памяти программу и данные, выполняет над данными действия, предписанные программой, и записывает результаты обратно в память. А теперь добавьте к этому использование кэша различных уровней, многопоточность, гиперпоточность, параллельные вычисления с использованием локальной, групповой и общей памяти и тому подобное. И окажется, что трудно найти в реальном компьютере буквальное соблюдение простых правил. Собственно, все это надо учитывать, сопоставляя последующее описание с работой реального мозга.

Итак, возьмем модель участка коры, на которой создадим компактный паттерн вызванной активности. Пока оставим вопрос, как возник этот паттерн. Просто будем полагать, что есть элементы, на которых присутствует постоянный импульсный сигнал. На рисунке ниже нейроны, образующие такой паттерн, помечены красным. В реальной коре это соответствует аксонам, передающим пачечную активность, то есть выдающим серию спайков с высокой частотой. Эти аксоны могут принадлежать нейронам этой же зоны коры, находящимся в состоянии вызванного возбуждения, либо они могут быть проекционными волокнами, идущими от других участков мозга.

Паттерн вызванной активности

Теперь заставим свободные нейроны генерировать редкие случайные импульсы. При этом наложим условие, что для случайного спайка требуется определенный уровень окружающей активности. Это значит, что случайные спайки смогут возникнуть только поблизости от уже активных нейронов. В нашем случае они появятся в окрестности паттерна вызванной активности. На рисунке ниже случайные спайки показаны зеленым цветом.

Обычно всю активность нейронов, которая не является вызванной, называют спонтанной или фоновой. Это не очень удачно, так как настраивает на восприятие всей этой активности как случайной. Далее мы покажем, что, в основном, фоновая активность строго предопределена и нисколько не случайна. И только малая ее часть – это действительно совершенно случайные спайки. Такие случайные спайки мы сейчас и создали вокруг активного паттерна.

Первый шаг моделирования. Спонтанная активность на фоне вызванной активности

Смоделируем на наших формальных нейронах метаботропные рецептивные кластеры. Для этого дадим нейронам возможность запоминать, когда это необходимо, картину активности ближайшего окружения. Причем не ограничимся одной картиной для одного нейрона, как это было бы, запоминай мы на синапсах, а позволим каждому нейрону хранить множество таких картин.

Сделаем так, что наличие собственного случайного спайка и высокой окружающей активности будет каждый раз основанием запоминать картину окружающих импульсов (рисунок ниже). Далее наши нейроны будут давать единичные спайки каждый раз, когда будет повторяться одна из этих запомненных локальных картин. Чтобы не путать их со случайными спайками, будем называть эти спайки волновыми.

Область фиксации активности для одного из нейронов, выдавших спонтанный спайк (он в центре квадрата). При моделировании для простоты использовались квадратные рецептивные поля, что хотя и не соответствует полям слежения у реальных нейронов, качественно не влияет на результат

В итоге на следующем шаге моделирования (рисунок ниже) мы получим картину, в которой будут те же, что и ранее, нейроны с вызванной активностью (красные), нейроны, среагировавшие на запомненные на предыдущем шаге локальные образы (белые), и нейроны, сгенерировавшие спонтанный спайк (зеленые).

Второй шаг моделирования. Красные – вызванная активность, белые – волновая активность, зеленые – спонтанная активность

Повторяя шаги моделирования, мы получим распространяющуюся по коре активность с определенным уникальным случайно созданным узором.

Теперь введем условие усталости нейронов. Сделаем так, что после нескольких метаботропных (волновых) спайков нейроны будут терять на время, необходимое для релаксации, способность генерировать новые импульсы. Это приведет к тому, что активность будет распространяться не сплошной областью, а пульсирующими волнами, разбегающимися от своего источника.

Чтобы предотвратить «засорение», заблокируем спонтанную активность в областях, где велико количество релаксирующих нейронов. В результате мы получим кольцо нейронов с волновой активностью, разбегающееся от паттерна вызванной активности (рисунок ниже).

Распространение фронта волны. Синие – нейроны, пребывающие в состоянии релаксации

Получившаяся волна по мере удаления от своего центра будет терять плотность фронта и рано или поздно затухнет. На рисунке ниже можно проследить первый цикл ее жизни.

Первый цикл распространения волны идентификатора

После того как период релаксации пройдет, запустится новая волна. Теперь она будет подхвачена нейронами, уже прошедшими обучение, и распространится несколько дальше. С каждым новым циклом волна будет расширять границы своего распространения, пока не достигнет краев зоны. Чтобы предотвратить неограниченный рост плотности фронта волны, введем еще одно ограничение: запретим спонтанную активность для нейронов, когда общая активность вокруг них превышает определенный порог.

Через какое-то время мы получим кору, обученную распространять уникальную по своему узору волну активности, соответствующую заданному изначально паттерну вызванной активности (рисунок ниже).

Распространение волны по уже обученной коре (после 200 тактов обучения)

Ниже видео этого процесса.

Обратите внимание: когда кора уже обучена на распространение волны от определенного паттерна, спонтанные (случайные) спайки исчезают. Такая «опытная» волна формируется за счет волновых, неслучайных спайков. Случайные спайки появляются только при обучении, когда фронт волны доходит до еще необученных или слабо обученных территорий. В этот момент спонтанные импульсы создают случайное продолжение волнового узора, которое тут же запоминается на поверхности нейронов, участвующих в этой волне. Но как только обучение заканчивается, волна от знакомого коре паттерна начинает распространяться по уже созданному волновому шаблону, каждый такт в точности повторяя на своем пути один и тот же уже неслучайный узор.

Обучение коры не обязательно должно быть поэтапным. При моделировании подбором параметров можно добиться, чтобы зародившаяся волна была самодостаточной. То есть, чтобы она не затухала на первых тактах, а сразу распространялась на все пространство (рисунок ниже).

Пример незатухающего на первом цикле распространения обучающей волны

Так как ширина фронта волны постоянна, то его площадь возрастает по мере удаления от источника. Это соответствует тому, что в распространении активности участвует все больше нейронов. Если проследить суммарный потенциал, создаваемый ими, то получатся графики, напоминающие то, что мы видим на энцифолограммах (рисунок ниже).


График ритмической активности модели с одним источником

Обратите внимание, что появление ритмов, наблюдаемых на таких «энцефалограммах», – это не ритм «дыхания» коры. То есть не синхронизация совместных всплесков активности, как полагается в большинстве существующих моделей, а изменение количества нейронов, вовлеченных в распространение расходящихся волн. Если новые волны будут излучаться еще до того, как исчезнут фронты предыдущих волн, то их сложение даст более сглаженную картину. При определенном подборе параметров на модели воспроизводятся ситуации, когда распространение волн практически не сопровождается суммарной ритмической активностью. Это можно соотнести с тем фактом, что у порядка 10 процентов людей на электроэнцефалограммах волновая активность не прослеживается.

Если теперь взять новый паттерн вызванной активности, то кора создаст волны, распространяющиеся и от него. Более того, такая кора обучается создавать волны для любого устойчивого паттерна вызванной активности. За счет того, что один и тот же нейрон может хранить множество локальных образов, он может быть частью сразу множества различных волн, соответствующих разным паттернам. Если мы захотим большей уникальности волн, то достаточно по мере накопления у нейрона запомненных им локальных образов снижать вероятность его спонтанного спайка.

Для запомненных локальных образов имеет смысл ввести механизм консолидации. То есть не фиксировать образ сразу на века, а установить время, в течение которого образ должен определенное количество раз повториться. Так как обучение волновому распространению и формирование устойчивых паттернов вызванной активности – процессы параллельные, то консолидация может позволить стереть следы неудачного обучения.

Но самое главное во всем этом – это уникальность каждой из полученных волновых историй. В любом месте, через которое проходит волна, она создает единственный, характерный только для нее рисунок. Это значит, что если на поверхности коры есть паттерн вызванной активности, который кодирует какое-либо событие, то волна, вызванная им, распространит информацию об этом по всему пространству коры. В каждом конкретном месте эта волна создаст свой неповторимый узор, уникальный только для этого события. Любое другое событие создаст в этом месте иной узор, связанный со своей волной. Это значит, что находясь в любом месте, мы можем настроиться на «прием» волны от какого-либо конкретного события и зафиксировать, когда оно произойдет по приходу волны с соответствующим узором.

В нашей модели получается, что фундаментальные свойства коры – это:

  • способность генерировать волны, расходящиеся от паттернов вызванной активности;
  • способность обучаться, проводить уникальные и стабильные для каждого паттерна узоры волн;
  •  будучи обученной, способность распространять волны активности, возникающие вокруг устойчивых паттернов вызванной активности.

Каждому уникальному паттерну вызванной активности соответствует уникальная по своему узору волна, которую можно назвать идентификатором этого паттерна.

Теперь процесс обучения можно грубо представить следующим образом:

  • статистически устойчивые сигналы ведут к формированию нейронов-детекторов, которые за счет синаптической пластичности обучаются реагировать на определенные закономерности;
  • нейроны-детекторы, относящиеся к одной закономерности, образуют устойчивый паттерн;
  • каждый устойчивый паттерн по мере своей активности обучает кору распространять уникальную волну, соответствующую только этому паттерну, что можно трактовать как идентификатор этого паттерна;
  • каждое место коры, куда распространяются соответствующие волны, получает возможность узнать, какова общая информационная картина на текущий момент.

Из сказанного выше следует, что для своей полноценной работы мозг должен не только сформировать нейроны-детекторы различных явлений, но и обучить кору распространять соответствующие информационные волны. Это хорошо согласуется с тем фактом, что ритмическая активность у детей слабо выражена сразу после рождения и увеличивается по мере взросления.

Когда мы говорим о структурах мозга, которые реагируют на определенные явления, то в нашей концепции возникает их очевидный дуализм. Эти структуры не описываются исключительно какими-либо нейронами или группами нейронов, они дополняются еще и идентификационными волнами, которые позволяют распространить соответствующую информацию. Но, что интересно, – в каждом конкретном месте, через которое проходит волна, она ведет себя так же, как и породивший ее паттерн. В моментальном временном срезе она сама является паттерном, порождающим продолжение волны.

Нетрудно заметить, что такое распространение идентификационных волн повторяет принцип Гюйгенса-Френеля, описывающий распространение волн света. Суть его в том, что каждую точку фронта световой волны можно рассматривать как центр вторичного возмущения. Каждый такой центр порождает вторичные сферические волны. Итоговое световое поле есть интерференция этих волн. Огибающая вторичных волн становится фронтом волны в следующий момент времени, и так далее.

Рефракция (слева) и интерференция (справа) по Гюйгенсу-Френелю

(Nordmann)

Разница в природе паттерна вызванной активности и паттерна, возникающего в процессе распространения волны, может быть обнаружена только по анализу причины активности входящих в них нейронов. Для вызванной активности – это картина на синапсах, для паттерна распространения – реакция метаботропных рецепторов. То есть отражение мозгом каких-либо явлений – это одновременно и паттерн и волна, причем в каждый конкретный момент времени, когда мы попытаемся зафиксировать распространение этой волны, мы увидим паттерн, отличный по узору, но не по сути от того, что дал начало волне.

Нетрудно заметить, что описанный дуализм достаточно точно соответствует дуализму элементарных частиц. Как известно, каждая частица – это одновременно и частица и волна. В зависимости от того, какие обстоятельства мы рассматриваем, частица может проявлять как волновые, так и корпускулярные свойства. Современная физика констатирует этот факт, но не дает ему объяснения. То, что мы описали о дуализме информационных образов, к счастью, несколько нагляднее, чем дуализм элементарных частиц. Конечно, напрашивается вопрос, можно ли продлить эти аналогии и использовать их для понимания физической картины мира? Это очень серьезный вопрос, и позже мы поговорим о случайности или не случайности такого совпадения.

Из дуализма информационных образов проистекают важные следствия. Как и частицы с разными спинами, два паттерна от разных волн могут находиться в одной пространственной области, не мешая друг другу. Более того, каждый из них вызывает продолжение собственной волны, не внося взаимных искажений. Если мы создадим несколько паттернов и обучим кору на распространение волн от каждого из них, то активировав эти паттерны совместно, мы сможем наблюдать прохождение волн друг сквозь друга с сохранением собственной уникальности (рисунок ниже).

Моделирование прохождения волн от двух источников

Это сильно отличается от сплошных волновых процессов. Например, при распространении волн в воде или воздухе, в колебаниях принимают участие сразу все молекулы. Столкновение двух волн затрагивает весь контактирующий объем, что ведет к интерференции. Поведение каждой молекулы определяется действием сразу обеих волн. В результате мы получаем интерференционную картину, которая уже не столь проста, как каждая из волновых картин в отдельности. В нашем же случае каждая из волн распространяется, затрагивая только малую часть всех доступных нейронов. При пересечении двух информационных волн общих для них нейронов, способных создать интерференцию, оказывается слишком мало, чтобы повлиять на распространение каждой из них. В результате, волны сохраняют свою информационную картину, неискаженной от встречи с другой волной.

Определенная изящность описываемой системы еще и в том, что нейроны могут выполнять одновременно две функции. Каждый нейрон может быть детектором, настраиваясь за счет изменения синаптических весов на определенный образ. При этом этот же нейрон за счет информации, записанной на его метаботропных кластерах, может принимать участие в распространении различных информационных волн.

Стоит почувствовать разницу между свойствами нейрона как детектора и как участника распространения волновой активности. Казалось бы, и там и там он реагирует на определенную картину активности своего окружения. В действительности это два принципиально разных свойства. Относительно плавная настройка синаптических весов позволяет нейрону обучаться на выделение скрытых факторов. Моментальная фиксация образов внесинаптическими кластерами обеспечивает запоминание того, что есть прямо сейчас. Синапсы воспринимают масштабную картину со всего рецептивного поля нейрона. Метаботропным рецептивным кластерам доступна урезанная картина активности, ограниченная синапсами, образующими их синаптические ловушки. Набор синаптических весов у обычного нейрона только один, а вот идентификационных образов он может хранить десятки и сотни тысяч. Синаптическое узнавание порождает вызванную активность, то есть длительный пакет импульсов. Несколько нейронов-детекторов за счет этого создают паттерн вызванной активности. Метаботропное узнавание дает единичный спайк. Совокупность таких спайков создает фронт идентификационной волны.

При моделировании наблюдается, что дальность распространения идентификатора зависит от того, насколько активно проявляет себя создающий волну паттерн. Применяя механизм консолидации, то есть, вводя критерии забывания, срабатывающего, если активность не повторяется должным образом, удается получить эффект, когда часто повторяющие паттерны обучают всю кору на распространение своих волн, а редкие сочетания создают области локального распространения. Причем размеры этих областей не фиксированы, а охотно растут, если соответствующее явление начинает проявлять себя чаще. В таком поведении можно найти определенный резон. Возможно, что и реальная кора ведет себя похожим образом.

Фоновая активность

Вернемся к описанию работы реальных нейронов. Сигналы от одних нейронов через их аксоны поступают на входы других нейронов. В химических синапсах происходит выброс медиатора, который в зависимости от типа синапса оказывает либо активирующее, либо тормозящее воздействие на принимающий сигнал нейрон. Чувствительностью синапса, которая может меняться, определяется вклад этого синапса в общее возбуждение. Если суммарное воздействие превышает определенный порог, то происходит деполяризация мембраны и нейрон генерирует спайк. Спайк – это одиночный импульс, продолжительность и амплитуда которого не зависит от того, какая синаптическая активность его породила.

Самая простая модель, навеянная импульсной активностью нейрона, – это модель порогового сумматора. При этом, исходя из того, что спайк можно сопоставить с бинарным сигналом, полагают, что входы и выход сумматора принимают значения только 0 и 1. Если на входы такого формального нейрона подавать импульсную картину, повторяющуюся от такта к такту, то нейрон в зависимости от настройки его весов должен либо каждый такт выдавать ответный сигнал, либо молчать. Это вполне логично – постоянная входная картина соответствует постоянному результату на выходе.

Если попытаться приблизить модель порогового сумматора к реальности, то первое, что придется сделать – это допустить, что картина входной активности может быть не строго синхронна. То есть сигналы на разных входах могут кодироваться импульсами, имеющими каждый свою частоту. При таком допущении уже нельзя просто использовать мгновенную картину состояния входов. Потребуется подобрать показательный временной интервал и пользоваться накопленной за этот интервал картиной активности. При разных частотах входных сигналов на некоторых интервалах входные импульсы будут образовывать кучности, достаточные для активации нейрона, а на других давать разряжения, оставляя нейрон неактивным. Таким образом, ответ нейрона приобретет собственную частоту, которая будет зависеть от частоты входных сигналов и чувствительности соответствующих синапсов.

Такие рассуждения приводят нас к модели нейрона как линейного сумматора, в которой уровень сигналов на входах нейрона и его ответ описываются не двумя уровнями, а вещественными величинами, которые соответствуют частотам следования спайков. Переход к линейному сумматору позволяет сильно упростить моделирование и отчасти забыть про изначальную химическую природу нейронной активности.

Но все имеет свое начало. Чтобы информация поступила в мозг, необходимы нейроны, взаимодействующие с внешним миром. Чувствительность такого взаимодействия резко отличается от синаптической чувствительности. В синапсах, количество которых у одного нейрона может измеряться десятками тысяч, медиатор высвобождается из пузырьков, имеющих постоянную емкость. Минимальный квант выброса медиатора – это порция из порядка 7 000 молекул. Сенсорные нейроны работают совсем с другими объемами. Так, зрительные палочки активируются буквально от двух квантов света, нейроны-рецепторы обонятельной системы способны обнаружить всего несколько молекул пахучего вещества. Столь высокая восприимчивость достигается за счет механизмов внутреннего усиления сигнала.

Взаимодействие нейрона с окружающей средой происходит за счет белковых молекул – рецепторов, которые позволяют внешнему химическому воздействию изменять состояние внутри клетки. Вещество, которое взаимодействует с определенным типом рецепторов, называют их лигандом. Для синаптических рецепторов лиганды – это те самые нейромедиаторы, что обеспечивают взаимодействие нейронов.

Соседние рецепторы могут соединяться, создавая димеры (рисунок ниже), которые в свою очередь, объединяясь, формируют рецептивные кластеры.

Кластеризация рецепторов. А – одиночный рецептор и его взаимодействие с окружающими рецепторами. Б – мономерная рецептивная молекула. В – рецептивный димер. Г – объединение двух мономеров в контактный (Д) и комбинационный (Е) димеры. (Радченко, 2007)

Рецепторы делятся на ионотропные и метаботропные. Ионотропные рецепторы создают ионные каналы, которые перемещают заряженные ионы через мембрану, меняя мембранный потенциал. Когда лиганд взаимодействует с ионотропным рецептором, последний меняет проводимость ионного канала, открывая или закрывая его. Именно такие рецепторы расположены в синаптических щелях. Их совместная работа определяет, быть или не быть спайку, вызванному сложением внешних сигналов.

Несколько иная природа у метаботропных рецепторов. Они располагаются за пределами синапсов и не создают ионных каналов. При взаимодействии со своим лигандом они запускают работу внутриклеточных посредников, которые обеспечивают усиление исходного сигнала в сотни тысяч раз, что в итоге приводит к активации нейрона. Это означает, что даже малая доля вещества, которое является лигандом для метаботропного рецептора, может вызвать у соответствующего нейрона спайк. Такой механизм используют сенсорные нейроны, именно он позволяет им реагировать на ничтожные сторонние воздействия. Но кроме сенсорного восприятия метаботропные рецепторы отвечают и за существенную долю мозговой активности вообще.

Характерный стимул для нейрона – это такая картина входных сигналов, которая совпадает с картиной чувствительности его синапсов. Чем ближе входной сигнал к характерному стимулу, тем выше частота спайков, генерируемых нейроном. Эту реакцию принято называть вызванной активностью. Она возникает у всех тех нейронов, которые как-то отреагировали на текущий образ. Но вызванная активность составляет лишь незначительную часть общей активности мозга. Основная же активность приходится на так называемую фоновую активность (рисунок ниже).

Реакция нейрона на стимул и фоновая (спонтанная) активность

Фоновая активность складывается из возникающих время от времени одиночных спайков. Такие спайки называют спонтанными, так как они проявляются независимо от наличия или отсутствия вызванной активности. Если оградить мозг от внешней информации, спонтанная активность на сенсорных зонах не ослабнет, а наоборот, только усилится. Для отдельного нейрона его спонтанная активность выглядит серией случайных спайков. Но для нейронов одной зоны коры эта активность складывается в общий ритм, что суммарно создает значительные электрические колебания. Именно эти колебания можно зафиксировать, приложив электроды к коже головы, что собственно и называется электроэнцефалографией.

Для разных зон коры и разных состояний человека свойственны свои частоты и уровни таких ритмов. Наиболее сильно ритм от отдельной зоны коры прослеживается на участке кожи, находящемся непосредственно над этой зоной. Поэтому для записи ритмов мозга используют набор электродов, равномерно распределенных по поверхности головы. Результат выглядит как набор графиков, каждый из которых записан от своего электрода (рисунок ниже).

Пример электроэнцефалограммы. Резкое увеличение амплитуды соответствует началу эпилептического припадка

Если вызванная активность – это следствие работы ионотропных рецепторов, то спонтанная активность – результат срабатывания рецепторов метаботропных. Когда импульсы регулярной или спонтанной активности, распространяясь по аксону, доходят до нейрона получателя, они вызывают выброс медиатора в синаптическую щель. Этот медиатор определяет вклад синапса в процесс вызванной активности нейрона. Затем происходит его обратный захват, и синапс восстанавливается до своего исходного состояния. Но часть медиатора выбрасывается за пределы синаптической щели и растекается по пространству, образованному телами нейронов и телами окружающих их глиальных клеток. Это явление называется спиловером от английского spillover – переполнение, перелив. Расположенные поблизости друг от друга синапсы образуют так называемые синаптические ловушки. В этих ловушках тормозные и активирующие медиаторы создают интерференционную картину. Это значит, что каждое сочетание импульсов вызывает пучность медиатора в определенном уникальном месте мембраны. А.Н. Радченко показал, что метаботропные рецептивные кластеры, расположенные в местах таких пучностей, способны менять свои свойства и впоследствии реагировать на повторение той же окружающей импульсной картины (Радченко, 2007).

Различные состояния метаботропного рецептивного кластера (Радченко, 2007)

Радченко описал несколько состояний, характерных для метаботропных рецептивных кластеров, и сопоставил эти состояния с различными стадиями запоминания (рисунок выше). Способность рецепторов влиять на состояние клетки зависит от положения их расщепленных концов. Чем больше расстояние между ними, тем сильнее наружные концы выступают на поверхности, а внутренние проникают в среду клетки. Соответственно, большему расстоянию соответствует большая чувствительность рецептора. При уменьшении расстояния концы рецепторов погружаются в мембрану, и рецепторы утрачивают свою способность влиять на состояние нейрона. Расстояние может управляться мембранным потенциалом нейрона. Деполяризация выталкивает концевые части из мембраны наружу и внутрь клетки соответственно, а гиперполяризация встречно втягивает их в мембрану.

Изначально метаботропные рецептивные кластеры обладают гистерезисными характеристиками. Гистерезис подразумевает, что поведение системы определяется ее предысторией (график ниже). Перейдя в определенное устойчивое насыщенное состояние, система не возвращается обратно после снятия усилия, а остается в этом положении. Для выведения ее из этого положения теперь необходимо приложить обратное усилие, которое после перехода определенного порога переведет систему в другое устойчивое состояние, обладающее тем же свойством «залипания».

Гистерезис

Гистерезис придает рецепторам свойства триггера. Реагируя на пучность медиатора, рецепторы могут «залипать» как в состоянии вытолкнутости из мембраны, так и в состоянии погружения в нее. Первое состояние говорит о том, что нейрон становится чувствителен к определенной картине окружающей активности и может отреагировать на ее повторение собственным спайком, второе, наоборот, делает его к ней невосприимчивым. Но это залипание носит краткосрочный характер, так как определенное изменение мембранного потенциала может сбросить кластер в исходное состояние.

Радченко сопоставил такое поведение рецептивных кластеров с краткосрочной (кратковременной) памятью. То есть то, что в каждый конкретный момент определяет нашу мысль – это, с одной стороны, картина активности нейронов, а с другой стороны, такая фиксация следов этой активности, которая позволяет быстро восстанавливать недавние картины. Недолговечность этих следов обеспечивает оперативность памяти. Мы можем быстро вернуться к мысли, которая была секунду или минуту назад, но теряем эту легкость, когда проходят часы или сутки.

Под воздействием медиаторов и сильного сдвига мембранного потенциала рецепторы могут терять гистерезисные свойства и переходить в стабильный режим, который надолго фиксирует приобретенное состояние кластера, что можно сопоставить с долговременной памятью. При этом в зависимости от положения фиксации, вытолкнутое состояние или утопленное, кластер либо реагирует на определенную картину активности, либо наоборот – приобретает стабильную нечувствительность к ней. Эти устойчивые состояния могут храниться очень долго, можно сказать вечно, хотя при определенных условиях и они могут быть перезаписаны.

Далее в нашей модели мы будем исходить из того, что нейроны мозга обладают тремя формами хранения информации. Одна форма – это изменение чувствительности синапсов, что определяет характерный для нейрона образ. Вторая форма – это кратковременная триггерная фиксация на метаботропных рецептивных кластерах картины окружающей активности. И третья – это долговременная фиксация, за счет перехода рецептивных кластеров в устойчивое состояние, части кратковременно зафиксированных картин.

Чувствительность синапсов нейрона описывает единственный характерный для него образ (если не учитывать нейроны с несколькими секциями синапсов). При этом внесинаптическая поверхность нейрона, которая содержит сотни тысяч метаботропных рецептивных кластеров, может хранить сопоставимое число воспоминаний, указывающих, в каких событиях проявлялся этот характерный образ.

Обратите внимание, что импульсная активность нейронов складывается из двух составляющих. Одна составляющая – это картина вызванной активности, которая говорит о том, какие нейроны узнали характерные для них стимулы. Вторая составляющая – это картина условно спонтанной активности, которая существует относительно независимо от первой, и которая создает общий фон работы мозга. Этот фон менее акцентирован, чем вызванная активность, но более масштабен, так как распространен по всему пространству коры.

Сверточные сети. Неокогнитрон

Сравнение многослойного персептрона и реального мозга очень условно. Общее – это то, что, поднимаясь от зоны к зоне в коре или от слоя к слою в персептроне, информация приобретает все более обобщенное описание. Однако строение участка коры значительно сложнее, чем организация слоя нейронов в персептроне. Исследования зрительной системы Д. Хьюбела и Т. Визела позволили лучше понять строение зрительной коры и подтолкнули к использованию этих знаний в нейронных сетях. Основные идеи, которые были использованы – это локальность зон восприятия и деление нейронов по функциям внутри одного слоя.

Локальность восприятия нам уже знакома, она означает, что нейрон, получающий информацию, следит не за всем входным пространством сигналов, а только за его частью. Ранее мы говорили, что такая область слежения называется рецептивным полем нейрона.

Понятие рецептивного поля требует отдельного уточнения. Традиционно рецептивным полем нейрона принято называть то пространство рецепторов, которое влияет на работу нейрона. Под рецепторами здесь понимаются нейроны, непосредственно воспринимающие внешние сигналы. Представим нейронную сеть, состоящую из двух слоев, где первый слой – слой рецепторов, а второй слой – нейроны, соединенные с рецепторами. Для каждого нейрона второго слоя те рецепторы, что имеют с ним контакт – это и есть его рецептивное поле.

Теперь возьмем сложную многослойную сеть. Чем дальше мы будем уходить от входа, тем сложнее будет указать, какие рецепторы и как влияют на активность находящихся в глубине нейронов. С определенного момента может оказаться, что для какого-либо нейрона все существующие рецепторы могут быть названы его рецептивным полем. В такой ситуации рецептивным полем нейрона хочется назвать только те нейроны, с которыми он имеет непосредственный синаптический контакт. Чтобы развести эти понятия, будем называть пространство входных рецепторов – исходным рецептивным полем. А то пространство нейронов, что взаимодействует с нейроном непосредственно – локальным рецептивным полем или просто рецептивным полем, без дополнительного уточнения.

Деление нейронов на функции связано с обнаружением в первичной зрительной коре двух основных типов нейронов. Простые (simple) нейроны реагируют на стимул, расположенный в определенном месте их исходного рецептивного поля. Сложные (complex) нейроны проявляют активность на стимул, независимо от его положения.

Например, на рисунке ниже показаны варианты того, как могут выглядеть картины чувствительности исходных рецептивных полей простых клеток. Положительные области активируют такой нейрон, отрицательные подавляют. Для каждого простого нейрона есть стимул, наиболее подходящий для него и, соответственно, вызывающий максимальную активность. Но важно то, что этот стимул жестко привязан к позиции на исходном рецептивном поле. Такой же стимул, но смещенный в сторону, не вызовет реакции простого нейрона.

Исходные рецептивные поля простой клетки (Николлс Дж., Мартин Р., Валлас Б., Фукс П.)

Сложные нейроны также имеют предпочитаемый ими стимул, но способны узнать этот стимул независимо от его положения на исходном рецептивном поле.

Из этих двух идей родились соответствующие модели нейронных сетей. Первую подобную сеть создал Кунихика Фукусима. Она получила название когнитрон. Позже он создал более продвинутую сеть – неокогнитрон (Fukushima, 1980). Неокогнитрон – это конструкция из несколько слоев. Каждый слой состоит из простых (s) и сложных (c) нейронов.

Задача простого нейрона следить за своим рецептивным полем и узнавать образ, на который он обучен. Простые нейроны собраны в группы (плоскости). Внутри одной группы простые нейроны настроены на один и тот же стимул, но каждый нейрон следит за своим фрагментом рецептивного поля. Все вместе они перебирают все возможные положения этого образа (рисунок ниже). Все простые нейроны одной плоскости имеют одинаковые веса, но разные рецептивные поля. Можно представить ситуацию по-другому, что это один нейрон, который умеет примерять свой образ сразу ко всем позициям исходной картинки. Все это позволяет узнавать один и тот же образ независимо от его положения.

Рецептивные поля простых клеток, настроенных на поиск выбранного паттерна в разных позициях (Fukushima K. , 2013)

 Каждый комплексный нейрон следит за своей плоскостью простых нейронов и срабатывает, если активен хотя бы один из простых нейронов в его плоскости (рисунок ниже). Активность простого нейрона говорит о том, что он узнал характерный стимул в том конкретном месте, которое является его рецептивным полем. Активность комплексного нейрона означает, что тот же образ встретился вообще на слое, за которым следят простые нейроны.


Плоскости неокогнитрона

 Каждый слой после входного имеет своим входом картину, образованную комплексными нейронами предыдущего слоя. От слоя к слою происходит все большее обобщение информации, которое в результате приводит к распознаванию конкретных образов независимо от их расположения на исходной картинке и некоторой трансформации.

Применительно к анализу изображений это означает, что первый уровень распознает линии под определенным углом, проходящие через небольшие рецептивные поля. Он способен детектировать все возможные направления в любом месте изображения. Следующий уровень детектирует возможные сочетания элементарных признаков, определяя более сложные формы. И так до того уровня, пока не удастся определить требуемый образ (рисунок ниже).

Процесс распознавания в неокогнитроне

При использовании для распознавания рукописного текста такая конструкция оказывается устойчива к способу написания. На успешность распознавания не влияет ни перемещение по поверхности или поворот, ни деформация (растяжение или сжатие).

Самое существенное отличие неокогнитрона от полносвязанного многослойного персептрона – это значительно меньшее количество используемых весов при том же количестве нейронов. Так получается за счет «трюка», который позволяет неокогнитрону определять образы независимо от их положения. Плоскость простых клеток – это по сути один нейрон, веса которого определяют ядро свертки. Это ядро применяется к предыдущему слою, пробегая его во всех возможных позициях. Собственно нейроны каждой плоскости и задают своими связями координаты этих позиций. Это приводит к тому, что все нейроны слоя простых клеток следят за тем, не появится ли в их рецептивном поле образ, соответствующий ядру. То есть, если такой образ встретится где-либо во входном для этого слоя сигнале, это будет обнаружено хотя бы одним простым нейроном и вызовет активность соответствующего сложного нейрона. Это ухищрение позволяет найти характерный образ в любом месте, где бы он ни появился. Но надо помнить, что это именно ухищрение и оно не особо соответствует работе реальной коры.

Обучение неокогнитрона происходит без учителя. Оно соответствует описанной ранее процедуре выделения полного набора факторов. Когда на вход неокогнитрона подаются реальные изображения, нейронам не остается ничего другого, кроме как выделять свойственные этим изображениям компоненты. Так, если подавать на вход рукописные цифры, то малые рецептивные поля простых нейронов первого слоя увидят линии, углы и сопряжения. Размеры зон конкуренции определяют, сколько различных факторов может выделиться в каждой пространственной области. В первую очередь выделяются наиболее значимые компоненты. Для рукописных цифр это будут линии под различными углами. Если останутся свободные факторы, то далее могут выделиться и более сложные элементы.

От слоя к слою сохраняется общий принцип обучения – выделяются факторы, характерные для множества входных сигналов. Подавая рукописные цифры на первый слой, на определенном уровне мы получим факторы, соответствующие этим числам. Каждая цифра окажется сочетанием устойчивого набора признаков, что выделится как отдельный фактор. Последний слой неокогнитрона содержит столько нейронов, сколько образов предполагается детектировать. Активность одного из нейронов этого слоя говорит об узнавании соответствующего образа (рисунок ниже)

Распознавание в неокогнитроне (Fukushima K. , Neocognitron, 2007)

Видео ниже позволяет получить наглядное представление о неокогнитроне.


Альтернатива обучению без учителя – это обучение с учителем. Так, в примере с цифрами мы можем не ждать, пока сеть сама выделит статистически устойчивые формы, а говорить ей, что за цифра ей предъявляется, и требовать соответствующего обучения. Наиболее значительных результатов в таком обучении сверточных сетей добился Ян ЛеКун (Y. LeCun and Y. Bengio, 1995). Он показал, как можно использовать метод обратного распространения ошибки для обучения сетей, архитектура которых, как и у неокогнитрона, отдаленно напоминает строение коры мозга.

Сеть свертки для распознавания рукописного текста (Y. LeCun and Y. Bengio, 1995)

Персептрон

В машинном обучении разделяют два основных подхода: обучение с учителем и обучение без учителя. Описанные ранее методы выделения главных компонент – это обучение без учителя. Нейронная сеть не получает никаких пояснений к тому, что подается ей на вход. Она просто выделяет те статистические закономерности, что присутствуют во входном потоке данных. В отличие от этого обучение с учителем предполагает, что для части входных образов, называемых обучающей выборкой, нам известно, какой выходной результат мы хотим получить. Соответственно, задача – так настроить нейронную сеть, чтобы уловить закономерности, которые связывают входные и выходные данные.

В 1958 году Фрэнк Розенблатт описал конструкцию, названную им персептроном (Rosenblatt, 1958), которая способна к обучению с учителем.

Персептрон, настроенный на определение цвета

По Розенблатту персептрон состоит из трех слоев нейронов. Первый слой – это сенсорные элементы, которые задают, что же мы имеем на входе. Второй слой – ассоциативные элементы. Их связи с сенсорным слоем жестко заданы и определяют переход к более общей, чем на сенсорном слое, ассоциативной картине описания.

Обучение персептрона осуществляется за счет изменения весов нейронов третьего реагирующего слоя. Цель обучения – заставить персептрон правильно классифицировать подаваемые образы.

Нейроны третьего слоя работают как пороговые сумматоры. Соответственно, веса каждого из них определяют параметры некой гиперплоскости. Если есть линейно-разделимые входные сигналы, то выходные нейроны как раз и могут выступать как их классификаторы.

Если \(Y\) – это вектор реального выхода персептрона а, \(D\) – вектор, который мы ожидаем получить, то о качестве работы нейронной сети говорит вектор ошибки:

\[E=D-Y\]

Если задаться целью, минимизировать среднеквадратическую ошибку, то можно вывести так называемое дельта-правило модификации весов:

\[\omega _{ij}(n+1)=\omega _{ij}(n)+\eta x_{j}(n)e_{i}(n)\]

При этом начальным приближением могут выступать нулевые веса.

Это правило является не чем иным, как правилом Хебба, примененным к случаю персептрона.

Если за выходным слоем расположить еще один или несколько реагирующих слоев и отказаться от ассоциативного слоя, который был введен Розенблаттом более для биологической достоверности, чем из-за вычислительной необходимости, то мы получим многослойный персептрон такой, как показан на рисунке ниже.

Многослойный персептрон с двумя скрытыми слоями (Хайкин, 2006)

 Если бы нейроны реагирующих слоев были простыми линейными сумматорами, то большого смысла в таком усложнении не было бы. Выход, независимо от числа скрытых слоев, все равно оставался бы линейной комбинацией входных сигналов. Но поскольку в скрытых слоях используются пороговые сумматоры, то каждый такой новый слой разрывает цепочку линейности и может нести свое интересное описание.

Долгое время было непонятно, как можно обучать многослойный персептрон. Основной метод – метод обратного распространения ошибки был описан только в 1974 г. А.И. Галушкиным и независимо и одновременно Полом Дж. Вербосом. Затем он был переоткрыт и получил широкую известность в 1986 г. (David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, 1986).

Метод состоит из двух проходов: прямого и обратного. При прямом проходе подается обучающий сигнал и рассчитывается активность всех узлов сети, включая активность выходного слоя. Вычитанием полученной активности из того, что требовалось получить, определяется сигнал ошибки. При обратном проходе сигнал ошибки распространяется в обратном направлении, от выхода ко входу. При этом синаптические веса настраиваются с целью минимизации этой ошибки. Подробное описание метода можно найти во множестве источников (например, (Хайкин, 2006)).

Нам важно обратить внимание на тот факт, что в многослойном персептроне информация обрабатывается от уровня к уровню. При этом каждый слой выделяет свой набор признаков, свойственных входному сигналу. Это создает определенные аналогии с тем, как преобразуется информация между зонами коры головного мозга.