Интеллект обычно понимается как группа способностей, которые позволяют организовать деятельность человека или животного в правильном порядке. Для обнаружения правильного порядка действий часто приходится размышлять, а именно подсчитывать или прикидывать то, что необходимо сделать, разрабатывать последовательность действий в среде обитания. Интеллект тесно ассоциирован с понятием мышление, говорят, что интеллект это способность мыслить определённым образом, совершать мыслительные операции определенного рода. Тогда способность совершать мыслительные операции определенного рода называем интеллектуальной способностью. 

• на постоянство объекта (память об объекте, который временно вне зоны взора),
• тест на отложенную награду (контроль импульсивного поведения),
• ментальное путешествие во времени,
• выявление причин (вывод по аналогии, или путем исключения),
• узнавание себя в зеркале,
• орудийная деятельность
• теория разума.

Такие когнитивные способности прямым образом не переносятся на те задачи, которые сегодня решаются методами ИИ. Однако в новой статье «Reward is enough» [15] сотрудники компании Deepmind предлагают гипотезу о том, что все способности, связанные с интеллектом, можно объяснить с помощью обучения с подкреплением агента в среде. Они распространяют свои выводы на живые существа. Обучение с подкреплением — это отдельный раздел алгоритмов ИИ, существенным отличием которого является обучение агента в изменяющихся условиях среды. Выбор таких алгоритмов предлагается в случае, если невозможно предобучиться на всем объеме данных для решения задачи.

Для коннекционизма вопрос функциональной декомпозиции, которая определяет внутреннюю (физическую) структуру примитивных операций внутри мозга решается на основе алгоритмов обучения нейронных сетей. Алгоритмы обучения и архитектура нейросети определяют функциональный и алгоритмический уровень по Д. Марру. Первые алгоритмы обучения нейросетей с подкреплением пытались воспроизвести оперантное обуславливание и павловское обучение [11], которое происходит на уровне функционирования целого организма. В обоих случаях вознаграждение (и у машин, и у животных) вызывает обучение. В случае собаки Павлова, на рассмотрение предлагаются звонок, еда и (как результат) выделение слюны. Если часто повторять звонок, у собаки будет выделяться слюна, без еды. Звонок предсказывает получение еды. Этот тип обучения происходит автоматически, собака не предпринимает никаких действий. Такой тип обучения (ассоциативное обучение) хорошо воспроизводится алгоритмами подкрепления, для него не нужно активное действие.

Детали такого обучения могут быть описаны с помощью настройки весов в сети с помощью различных алгоритмов подкрепления, предложенных Ф. Розеннблатом в работе Персептроны. Он описывает несколько систем подкрепления, для обучения своей машины с учителем и в автоматическом режиме. В случае обучения с учителем система управления подкрепления — это человек-оператор, он определяет как машина справилась с задачей, в случае автоматического обучения система подкрепления — это составная часть программы персептрона. Правила подкрепления, которые использует человек или сама машина могут быть самые разные. Простейший случай такой, если синапс участвовал в проведении сигнала увеличить его на значение сигнала подкрепления Х (увеличить силу связи), если нет – оставить таким же. Персептрон может обучиться в автоматическом режиме в случае системы подкрепления с коррекцией ошибки. В таком случае Розенблатт предлагает, что машина в случае ошибки уменьшает силу синапсов, участвовавших в проведении сигнала на значение сигнала подкрепления Х, а в случае правильного ответа не меняет силы синапсов. Для Ф. Розенблатта автоматическая настройка коэффициентов достаточна для обучения. Он аргументируя свою точку зрения, говорит, что павловское обучение не требует мотивации и не зависит от него, делая поправку на то, что порой в эксперименте с условным подкреплением невозможно различить внимание и мотивацию. Предполагается что за установление временной связи (условного рефлекса) ответственны веса соединений нейронов, которые проводили сигнал, приведший к награде. Для объединения всех нейронов участвующих в решении задачи у млекопитающих и врановых [8] используется дофамин [5]. Можно представить, что именно он в живых системах используется для фиксации значения сигнала подкрепления Х, но это не всегда так.

Внутренняя оценка полезности действий может быть обманута с помощью электрической стимуляции области перегородки мозга, как в случае экспериментов Д. Олдса и П. Милнера [10]. В этот раз крыса или человек попадает в цикл стереотипных действий, которые производят работу, направленную на получение электрического стимула в область перегородки мозга, и животное и человек отдают предпочтение нажатию на кнопку электростимуляции в сравнении с едой, водой, сексом. Интеллект возникает при решении задач, связанных с биологическими потребностями и направлен на решение задач заранее определенных биологией (или программистом) целей. Размыкание цепочки этих связей в искусственном случае (при хирургическом вмешательстве) приводит к вырожденному случаю стереотипного поведения, преодолеть которое невозможно. Помещение такого рода процессов, связанных с желанием и мотивацией в сердцевину нашей психики было предложено, например в качестве термина "протосамость". По выражению некоторых биологов "протосамость" является фундаментальным уровнем развития психики [1].

Отметим важную роль дофамина в работе систем вознаграждения [4]. Его роль не сводится только к синхронизации корковых сетей во время получения награды. Дофаминовые нейроны активируются в ответ на предсказуемые и непредсказуемые стимулы вознаграждения, а также зависят от понимания структуры задачи. Теория прогнозирования ошибки (reward prediction error) предлагает способ объяснения работы дофамина в мозге положительного и отрицательного подкрепления. Мы строим предсказание относительно будущего, если оно ошибочно происходит выброс дофамина, пропорциональный силе ошибки. Импульс активности дофаминовых нейронов кодирует разницу между фактическим и ожидаемым результатом действия [14]. Эта теория подкрепляется открытием эффекта блокировки [6], который сводится к тому, что уже обученное животное не реагирует на второй (новый) условный стимул, который подается вместе со уже обученным (первым) условным стимулом. Первый стимул, которому обучили, блокирует обучение второму стимулу. Объясняется это тем, что второй стимул не обладает эффектом новизны. Он находится в поле зрения животного вместе с первым и это значит, что ошибки прогнозирования при его появлении не происходит. На психологическом уровне, при достаточном внимании также может быть испытано чувство удивления или страха, которое также может оказывать влияние на пластические процессы в мозге во время обучения. Чем больше наше ошибочное предсказание, тем сильнее ответ дофаминовых нейронов.

В новой работе команда DeepMind предлагает собственную модель алгоритма обучения с подкреплением на основе параллельного и распределенного кодирования временной разницы (distributed reinforcement learning). Вместо усреднённого значения возможных прогнозов предлагается параллельное вычисление прогноза для каждой задачи с фиксированной ценой вознаграждения. Авторы утверждают, что такая модель хорошо предсказывает асимметрию ответов дофаминовых нейронов на положительные и отрицательные ошибки прогнозирования. Для объяснения любви к рискованному поведению также предлагаются алгоритмы с подкреплением [9].

"Положим" что нейросеть и крыса выбирают путь в лабиринте, где спрятан сыр. Проведем серию экспериментов, после обучения нейросеть основанная на обучении с подкреплением будет воспроизводить один и тот же алгоритм действий, в то время как крыса будет в редких случаях ошибаться, проявляя «болезненное любопытство». Человек также показывает интерес к проверке плохих, проверенных ранее гипотез, а также осознанно нарушает ранее выученные правила. Это особенность позволяет предположить, что обучение на организменном уровне обуславливается не одним алгоритмом, но связанно с высшими когнитивными функциями. Повышенная реакция дофаминовых нейронов на маловероятные стимулы, азарт, любопытство или прокрастинация также предлагаются в моделях обучения с подкреплением [2, 12]. Объясняются и познавательные способности, которые есть у человека и животных, но нет у искусственного интеллекта, например, метапознание. Метапознание это знание о своем собственном знании, или способность эффективно использовать свой прошлый опыт применительно к новым задачам. Метапознавательные когнитивные способности включают в себя регуляцию собственной мотивации. Например, спросив себя зачем мне это нужно и поняв зачем это нужно, можно намного быстрее приобрести навык. Абстрактное знание о поставленной задаче влияет на ход выполнения этой задачи, ускоряя обучение. Например, обезьяны способны понять обратную задачу без предобучения. Если в задаче требуется смотреть вправо для получения награды, а затем в следующей задаче требуется смотреть влево для получения награды, то для понимания структуры второй задачи не требуется предобучение. Для объяснения таких способностей исследователи ИИ предлагают усложнить парадигму и выходят за рамки одного алгоритма. Например, в статье [15] разработчица компании DeepMind Джейн Ванг с коллегами предлагает префронтальную кору на место, в котором реализуются метапознанавательные способности в совокупности с системой вознаграждения. В приведенной работе авторы рассуждают о способности машин обучаться обучению и предлагают собственную разработку когнитивного агента на основе LSTM сети который симулирует метапознавательную деятельность. Модель реализует гипотезу, согласно которой дофаминовые нейроны способны кодировать значения стимулов посредством процесса абстрактного вывода, без привязки к реальному вознаграждению. Она представляет, как можно изобразить работу префронтальной коры в виде рекуррентной сети, связанной с подкорковыми центрами дорсальным стриатумом и медиодорсальным таламусом и образующей кортико-стриальную петлю.

В то же время обучение животных связанно с хорошо понятным набором ситуаций, в которых они ориентируются. Для организмов с развитой нервной системой необходимо ориентироваться в совершенно особенном мире, где существует только одна попытка для осознания правила взаимодействия со средой, без возможности эволюционной адаптации. Эти условия хорошо отображает Умвельт - то есть набор особенностей перцепции и символического отражения физической среды обитания организмом. Этот перцептивный мир параллельно, то есть одновременно представляет набор возможных объектов и вещей для выбора и действия. Все они выбираются также исходя из соответствия возможности целевого взаимодействия с ними и отражены в алгоритмах обучения с подкреплением. В виду того, что целевые функции у организмов разные, предметы и вещи этого перцептуального мира также имеют свои уникальные характеристики необходимые для жизнедеятельности конкретного животного [12]. Умение группировать наборы данных в виде относительно устойчивых объектов этого перцептуального мира, особенность которых состоит в возможности их перегруппировки (в условном пространстве) относительно друг друга без потери их единичности и целостности является трудным местом для когнитивных биологов при разработке когнитивных задач.