Кодирование сложных описаний

Вернемся к памяти и попробуем систематизировать, с какими типами информации, и, соответственно, типами описаний умеет оперировать наш мозг.

Первый тип – это простое описание, которое соответствует картине мгновенной активности коры. Это сочетание тех понятий, что детектированы мозгом именно сейчас.

Второй тип – это пакет простых описаний, соответствующих одному событию, одной мысли. В пакете несущественен порядок следования описаний. Перестановка слоев пакета не меняет общего смысла высказывания. Вспоминание пакета – это восстановление серии следующих друг за другом простых описаний.

Третий тип – это позиционное описание. В таком описании сохраняется связь одних объектов с другими, находящимися с ними в определенной системе отношений. Например, разновидность такого описания – это пространственное описание. Когда мы не просто фиксируем свое положение в пространстве, а увязываем его определенными описаниями с расположением других объектов.

Четвертый тип – это процедурное описание. Такое описание, в котором важна последовательность смены образов и сопутствующие этому интервалы. Например, восприятие речи определяется последовательностью звуков, при этом соотношение интервалов формирует интонацию, от которой сильно зависит общий смысл услышанной фразы. Вспоминание процедуры – это воспроизведение соответствующей последовательности образов.

И пятый тип – это хронологическое описание. Фиксация на продолжительных отрезках времени того в какой последовательности и с какими временными интервалами происходили те или иные события. Возможность вспомнить для хронологической памяти – это не воспроизведение сразу всего, относящегося к одной хронологии, а возможность перейти от одного описания к другому, связанному с ним общей временной последовательностью.

Несложно заметить, что многие описания так или иначе завязаны на время. Пакетное описание – это серия следующих друг за другом образов. Процедурное описание учитывает последовательность событий. Хронологическое описание требует учета позиционирования событий во времени.

Такая зависимость описаний от времени послужила поводом к возникновению соответствующих моделей. Наиболее известная из них – это пропагандируемая Джефом Хокинсом концепция иерархической темпоральной памяти (HTM) (Хокинс, 2011). Он и его коллеги исходят из того, что темпоральная смена событий – это единственное, что позволяет связать между собой отдельные информационные образы. Из этого делается вывод, что базовый информационный элемент коры должен работать не со статичными образами, а с временной последовательностью. В концепции HTM элемент хранения информации – это развернутая во времени последовательность сигналов. Узнавание – это определение совпадения двух последовательностей. При этом особый акцент делается на способность HTM к предсказанию. Как только нейрон узнает начало знакомой ему последовательности, он становится способен по своему опыту предсказать запомненное им продолжение. Описание текущей картины в HTM – это активность тех нейронов, которые откликнулись на текущую смену событий.

Сложности такого подхода достаточно очевидны. Во-первых, требование соблюдения временных масштабов. Небольшое ускорение или задержка в поступлении данных могут нарушить алгоритм узнавания. Во-вторых, необходимость переводить все статичные образы во временные последовательности перед тем, как кора сможет с ними оперировать. И тому подобное.

В нашей модели система идентификаторов дает нам универсальный инструмент, который одинаково хорошо подходит для описания всех возможных типов памяти. Основная идея проста – каждое простое описание представляет собой составной идентификатор, содержащий в себе все необходимое для указания всего набора, как ассоциативных, так и временных взаимосвязей.

На рисунке ниже приведено условное изображение такого простого описания. Простое описание – это волна, несущая в себе несколько наборов идентификаторов разных типов. Основное содержание кодируется набором идентификаторов понятий, описывающих суть происходящего. Идентификатор слоя помечает основное содержание, отделяя его от остальных простых описаний. Идентификатор пакета объединяет несколько слоев, относящихся к одному сложному описанию. Идентификаторы места, времени и последовательности создают систему соответствующих связей между сложными описаниями.

Формат простого описания

Возьмем предыдущий пример и обозначим волны идентификаторов, соответствующие используемым понятиям (concepts), как C1…C7 (рисунок ниже).

Понятия, используемые для описания

Тогда описание того, что «красный объект A лежит на синем объекте B» будет выглядеть, как показано на рисунке ниже.

Пример сложного описания

В этом примере каждый из слоев пакета является простым описанием со своим идентификатором слоя . Все слои пакета имеют общий идентификатор пакета p1. Когда заканчивается одно сложное описание, другое, следующее за ним имеет отличный от него идентификатор пакета p2 (понятия второго описания на рисунке не показаны).

Чтобы такая конструкция была работоспособной, мозгу необходима достаточно сложная система, создающая идентификаторы, формирующие пакеты. Причем для каждой из зон коры может потребоваться свой набор таких идентификаторов, уместный именно для нее.

Например, возьмем последовательность зрительного восприятия. Скачкообразные микродвижения глаз, называемые микросаккадами, заставляют глаз сканировать малый фрагмент изображения, приходящийся на центр сетчатки. Все образы, которые получаются в процессе такого сканирования, предположительно могут объединяться общим идентификатором. Микродвижениями глаз управляют верхние бугорки четверохолмия. Можно предположить, что именно они кодируют такой идентификатор. После нескольких микросаккад происходит сильный прыжок, называемый саккадой (выше на рисунке с головой Нефертити показаны именно саккады). Каждая саккада вызывают смену идентификатора микросаккад.

Можно предположить, что микросаккады принципиально важны для первичной зрительной коры. Общий идентификатор сообщает коре, что сери подряд идущих образов описывает один и тот же объект, но в разных его позициях на сетчатке, что позволяет объединить их в единое описание и реализовать инвариантное к положению на сетчатке узнавание.

Более продолжительное событие — серия саккад. Так как серия относится к разглядыванию единой картины, то получаемые описания тоже можно связать между собой еще одним общим идентификатором – идентификаторам саккад. Но этот идентификатор существенен уже не для первичной, а для вторичной и более глубоких уровней зрительной коры, где происходит последующая обработка информации. Идентификатор, сообщающий коре, что все, что мы видим во время серии саккад – это одна и та же картина, позволяет соотнести между собой одни и те же образы, видимые разными местами сетчатки.

Смена идентификатора саккад должна происходить, когда существенно меняется разглядываемая картина. Например, при сильном повороте головы, переключении внимания, смене плана или сцены в кино. Переключение внимания может кодироваться элементами лимбической системы мозга и распространяться на множество, завязанных на это, зон коры. Одновременно с этим в системе описаний присутствуют идентификаторы гиппокампа, кодирующие пространственно-временные описания событий. Короче, система идентификаторов, определяющих пакет, может быть достаточно сложна, и определяться особенностями той информации, с которой имеет дело каждая конкретная зона коры.

Используя идентификаторы несложно организовать фиксацию последовательности событий. Например, если взять идентификатор, состоящий из двух фрагментов, то поочередно меняя по одному из них, можно получить ассоциативную связанность соседних описаний (рисунок ниже).

Кодирование последовательности

Каждый такой идентификатор будет содержать элемент от предыдущего и последующего идентификатора. Запомнив временную последовательность образов с такими идентификаторами, мы для каждого образа сможем найти его двух соседей по временной шкале. Несложно усложнив идентификатор можно закодировать не только общую связанность, но и направление течения времени.

Надо отметить, что в нашей модели каждое воспоминание имеет богатую систему идентификаторов. Это позволяет получить доступ к воспоминанию через множество совершенно различных ассоциаций. Можно вспомнить что-либо, исходя из совпадения смыла описаний. Можно проассоциировать информационные картины по месту или времени описываемых событий. Можно воспроизвести последовательность образов, относящихся к одному событию. Нетрудно заметить, что такой доступ к воспоминаниям имеет много общего с подходами, которые используются при создании традиционных реляционных баз данных.