Фоновое армирование это: ФОНОВАЯ АРМАТУРА И «СЛУЧАЙНЫЕ» КОЛОННЫ — Мои статьи — Каталог статей

Содержание

ФОНОВАЯ АРМАТУРА И «СЛУЧАЙНЫЕ» КОЛОННЫ — Мои статьи — Каталог статей

       Создание предметов материальной культуры человечества происходило на основе ранее приобретенного совокупного опыта и, возможно, интуиции создателей. Морские суда, повозки, жилые строения, мосты изготавливались по ранее известным образцам. И на протяжении долгого промежутка времени такая ситуация практически не менялась.

     Вопрос о том насколько долго это положения дел могло продолжаться оставим философам и историкам.

     Но факт остается в том, что в один прекрасный момент люди захотели что бы лодка плавала быстрее, дома становились вместительннее, а мосты длиннее. Так возникла потребность в точном определении того, что требовалось изготовить или построить.

    К счастью, к этому моменту, хорошо подготовились математики. Лагранж, Эллер, Гук и др. внесли большой вклад в разработку математического аппарата Теоретической механики и Теории упругости. К концу XIX века получила достаточное развитие дисциплина получившее название Строительная механика.

    После чего проектирования каждого здания стало начинаться с  точного расчета.

   Но оказалось, что однозначно определить все нагрузки и воздействия на конструкцию здания в течении всего периода эксплуатации здания не представляется возможным. Используя аппарат Статистических методов и Теории Вероятности можно оценить диапазон отклонений нагрузок на конструкцию от осредненных значений (в некотором роде «волатильность» нагрузки). При этом, точность расчета конструкций имеет некоторую «избыточность”, относительно реальных усилий, которые возникают в конструкции (при реальных воздействиях). Следует заметить, что не только усилия имеют случайные значения, но и сам характер усилий в элементах конструкции приобретает черты случайного процесса.

    На рис1 а, и б проиллюстрирован случай, на примере балки на упругом основании, когда сам по себе переход от

детерминированной модели к стохастической («случайной”) приводит к «появлению” усилий в конструкции!

 

рис 1а. Схема «детерминированного» основания.

 

 

рис 1б. Схема «стохастического» основания.

 

Кроме того, случайным (вероятностным) являются и сами свойства строительной конструкции, причем они могут меняться, как от внутренних, так и тот внешних факторов. Возьмем к примеру сталь. В зависимости от условий плавки, структура сплава может быть различной в пределах одной номинальной марки стали, при этом различными будут и механические свойство проката, изготовленного из металла этой плавки. Это внутренний фактор. Внешними факторами, могут быть: условия эксплуатации: химическая агрессивность среды, вибрационный воздействия, температурные воздействия и т.д. Они могут быть различными даже для двух зданий (а возможно и для двух колонн), стоящих рядом). На железобетонные конструкции влияют и условия твердения (температура, влажность), и качество уплотнения бетонной смеси, и даже гладкость поверхности минеральных заполнителя.

По мнению ряда исследователей на стойкость арматуры в железобетонных конструкциях может повлиять электромагнитный фон (смог) существующий в крупных городах.

Множество подобных факторов серьезно затрудняет точное определения как собственно усилий, так, что особенно важно, и разрушающих нагрузок, на которые необходимо рассчитывать конструкции зданий. Часто бывает, что определить точное значение параметров необходимых для расчета зданий попросту невозможно.

В XX веке, и особенно, в начале нынешнего века, на проектирование и расчет несущих конструкций зданий как это бы не казалось странным, стал оказывать воздействие новый фактор — организационный. В процессе проектирования — проектировщик оказался в  ситуации, когда параметры проектируемого здания стали сами по себе случайной величиной. Не редкость, когда этажность и площадь здания увеличиваются в ходе проектирования.  Порой материал, типы конструкций, марки стали и бетона  заказчиком проекта заменяются на другие.

Неопределенность набора помещений при проектировании зданий, привела к сложности в определении( в назначении) несущих стен  и колонн.  Это явление получило название — «случайные” стены  или «случайные” колонны (рис.2).

 

рис 2. Схема «случайных» колонн.

 

Таким образом, весь вышеуказанный спектр воздействий на конструкцию здания можно назвать

фоновым воздействием. Фоновые воздействия, как правило, действуют все время эксплуатации здания и интегральное значение этих воздействий обычно постоянно. В строительных нормах ряда стран (Украина) к понятию фоновое воздействие близко понятие квазистатичесих нагрузок.

 Применительно к железобетонным конструкция, фоновые воздействия вызвали появление фоновой арматуры. Введем определение: Фоновое армирование — армирование воспринимающее  основные эксплуатационные (средние) и возможные случайные воздействия и нагрузки на конструкцию, а также участвующее в восприятии нагрузок в случае так называемого непропорционального (прогрессирующего) разрушения здания (сооружения).

В дополнении к фоновым нагрузкам, на здание действуют

пиковые нагрузки: порывистые воздействие ветра, максимальные снеговые нагрузки, сейсмические нагрузки, локальные нагрузки от оборудования и т. д. (особые воздействия: взрывные, техногенные, аварийные и т.п. выходят за рамки данной статьи). Пиковые воздействия носят ограниченный по времени характер, но приводят к возникновению в конструкциях максимальных расчетных усилий (рис. 3).

 

 

рис 3. Усилия от возможного положения «случайных» колонн.

 

 

Отметим, что с точки зрения вероятностной теории прочности фоновые воздействия могут оказывать более существенно значение на прочность всего здания, чем пиковые воздействия. Это возможно из-за того, что накопление повреждений (количество повреждение) пропорционально, как уровню усилия, так и времени воздействия усилия. Однако, учет данного явления на практический расчет здания, пока, не нашел отражения в действующих СНиП.

Наличие определенного количества фоновой арматуры, облегчает работу проектировщика, позволяя свободнее обращаться с расположением стен и колонн при компоновки помещений здания. При этом незначительные изменения местоположения несущих стен и колонн не влекут за собой изменение армирования конструкций. В некоторых случаях, для специально разработанных конструктивных схемах зданий (точное определение данного утверждения выходит за рамки данной статьи) можно говорить, что армирования инвариантно по отношение к расположению несущих вертикальных конструкций. Так называемое конструктивне армирование (которое требуется устанавливать согласно СНиП) является частным случаем фонового армирования. Кроме того, фоновое

армирование в условиях массового строительства позволяет избежать ошибочных проектных решений.

Обычно, при правильно запроектированной конструкции,  зона расположения фоновой арматуры занимает 85-90% площади конструкции (этажа), а в остальных местах ставиться пиковая арматура , в дополнение к фоновой.  При этом, фоновую арматуру проектируют в виде верхней и нижней ортогональной сетки с регулярным шагом (не более 200 мм) и одинаковым для каждого направления диаметром арматуры.  Минимальный диаметр арматуры принимают: для плиты толщиной 250 мм — Ø16мм, для плит толщиной 160-200мм — Ø12мм. Пиковая арматура ставится по расчету на максимальные усилия и она может выполняться из отдельных стержней разного диаметра (но не менее диаметра фоновой арматуры). Допускается устанавливать пиковую арматуру только в направлении действия максимальных усилий.

 

 

рис 4. Схема «фоновой» и «пиковой» арматуры.

 

 

Правильное понимание характера нагрузок воздействующих на конструкцию и способность конструкции по сопротивлению этим нагрузкам в течении всего срока службы конструкции позволит избежать ошибок при проектировании и снизить аварийность при строительстве и эксплуатации зданий и сооружений.

 

* * *

 

 

 

Принятие решения об армировании плит

Результаты подбора армирования плит в ЛИРА САПР показываются в виде числовых мозаик. Как откорректировать цвета и диапазоны мозаики, см. в статье https://rflira.ru/kb/2/122/.

В рамках этой статьи приведём рекомендации по принятию решения о диаметре арматуры в плите.

Какой выполнять конструирование плиты перекрытия

При конструировании плит перекрытия, часто применяется приём, когда по всей площади плиты устанавливается арматурная сетка с определённым сочетанием параметров шаг/диаметр, например – арматура диаметром 16 мм с шагом 200 мм в двух направлениях, условное обозначение будет выглядеть так d16 200×200. Такую арматурную сетку ещё называют «фоновой арматурой».

Шаг арматурных стержней назначается исходя из:

  • обеспечения требуемой площади арматуры;
  • удобства размещения стержней;
  • возможность бетонирования конструкции;

Наиболее распространённый шаг для армирования безбалочных плит перекрытий — 200х200 мм.

Диаметр арматурных стрежней следует назначать так, чтобы:

  • была обеспечена требуемая площадь арматуры;
  • расход арматурной стали был рациональным;

Рациональный расход арматурной стали предполагает сосредоточение большого количества арматуры в местах с наибольшей концентрацией изгибающих моментов, т.е. на опорах и в пролёте плиты, а в наименее напряжённых участках, площадь арматуры может быть сокращена до наименьшего допустимого значения по условиям прочности и трещиностойкости.

Реализация метода на примере

Согласно мозаики результатов, в месте опирания плиты на колонну, требуется установить стержни диаметром 32 мм с шагом 200 мм (s200d32), а в пролётной части достаточно s200d14, за исключением участка между колоннами, где требуется s200d18.

Внимание! Просто взять фоновое армирование по минимальному полученному результату, а там, где этой площади не хватит – уложить дополнительные стержни нельзя. Следует проанализировать – не будут ли эти стержни отличаться диаметром. Если отличие в диаметре есть, то нужно проверить, как отразится на работе плиты изменение привязки центра тяжести арматуры и не будут ли нарушены минимальные требования по защитному слою. На основании вышесказанного, расхождения диаметров лучше не допускать.

Способ 1 — работа с числами на шкале армирования

Применим следующий подход: примем раскладку фоновой арматуры с шагом 200 мм. В тех местах, где требуется усиление, шаг 100 мм. Чтобы обеспечить требуемую площадь арматуры для принятых шагов раскладки, возьмём максимальное значение площади арматуры на шкале результатов и разделим на два:

40.2/2=20.1 см2.

Сопоставим это значение со шкалой и подберём диаметр стержня, который эту площадь перекроет.

Подойдёт стержень диаметром 25 мм. При шаге раскладки 200 мм, он обеспечивает площадь арматуры 24.5 см2/1м. При шаге 100 мм, площадь будет равна 24.5*2=49 см2.

Данный подход экономит время, но может привести к нецелевому расходу арматуры.

Способ 2 — работа с таблицами результатов

При визуализации мозаики результатов, программа, в нижней части окна, выдаёт номер элемента, в котором подобрано максимальное значение площади арматуры.

Выделив этот элемент при помощи полифильтра, нужно вызвать окно задания таблиц результатов для железобетонных конструкций и создать таблицу Арматура в элементах пластин. Если перед этим был выделен какой-то элемент, то результат будет показан только для него.

В таблице содержится максимальное значение площади арматуры 36.72 см2, что соответствует участку шкалы между s200d28 и s200d32. Выполним тот же самый порядок действий, что и в прошлый раз, но для нового значения площади.

36.72/2=18.36 см2;

Подойдёт стержень диаметром 22 мм. При шаге раскладки 200 мм, он обеспечивает площадь арматуры 19 см2/1м. При шаге 100 мм, площадь будет равна 19*2=38 см2.

Такой подход, в некоторых случаях, позволяет сэкономить арматуру.

Другие способы конструирования сетки

Для большей экономии арматуры возможно применять следующие способы:

  • применение большего шага фоновой арматуры с разными градациями шага в зонах усиления 300/150/100;
  • применение стержней разных диаметров для основной сетки и арматуры усиления с обязательной проверкой влияния изменения расстояния от центра тяжести арматуры до грани элемента;

Рекомендация: при конструировании сетки плиты перекрытия, стремитесь не к экономии арматурной стали, а к унификации стрежней и минимизации обрези.

Фоновое армирование плит в ПК ЛИРА 10.4.

  • Автор: Амирханов Мурат

  • Коллеги, добрый день!

    Продолжаю отвечать на вопросы по работе в ПК ЛИРА 10. 4

    Под установкой фоновой арматуры в программном комплексе понимают настройку визуализации изополей армирования с учетом установки фонового значения армирования. Данное значение устанавливается в расчетном комплексе после проведения расчета конструкций:

    Пункт меню «Расчет» — «расчет конструкций»

    По результатам расчета пользователь получает довольно пеструю картину армирования, например с такой градацией по цвету:

    Такой цветовой диапазон при проектировании не совсем удобен и было бы удобнее отфильтровать значение армирования на 2-3 цвета, одно из которых будет фоновое, а остальные дополнительные. Сделать это можно с помощью цветовой шкалы, нажав по ней правой кнопкой мыши, Вы получите возможность настройки цветового диапазона значений армирования (настраивать значения необходимо в абсолютных значениях)

    Выбрав для себя цветовой оттенок для фоновой арматуры, например, желтый (от 0 до 20), Вы щелкаете левой кнопкой мыши по предельному значению диапазона (в нашем случае 20) и устанавливаете значение армирования в см2/м.

    Здесь Вы также можете использовать встроенный калькулятор, который позволит пересчитать значение армирования из единиц «диаметр/шаг» в «см2» (вводить значения нужно именно в таком порядке s200d10, где после «s» вы устанавливаете шаг, после «d» — диаметр арматуры)

    Можно также выполнять и арифметические действия

    В итоге мы получили два диапазона цвета: первый диапазон отвечает за фоновое армирование (армирование сеткой d10 с шагом 200), второй — за дополнительное (дополнительная сетка d12 с шагом 200).

    В Лире 10.4 у Вас есть возможность создать пользовательскую шкалу и сохранить ее под своим именем: Сервис – настройка среды – шкала.

    Вы можете попробовать данную функцию на схеме для фонового армирования

    Возможность проанализировать армирование плиты доступна в демоверсии ЛИРА 10.

    Также я готов проконсультировать вас по интересующим вопросам. Для этого можете воспользоваться формой обратной связи.

    Властелин КЖ, или Новая версия Project Studio CS Конструкции

    С момента выхода Project Studio CS Конструкции прошло меньше года, но за это в общем-то короткое время программа успела по-настоящему заинтересовать конструкторов — свидетельством тому и отклики пользователей, и многочисленные предложения по дальнейшему развитию продукта. Интерес специалистов понятен: на российском рынке впервые представлено программное обеспечение для проектирования железобетонных конструкций, так четко ориентированное на формирование рабочей документации в строгом соответствии с отечественными нормами и стандартами. Для тех читателей, кто еще не знаком с этим программным пакетом, мы вкратце расскажем о его основных возможностях, одновременно обращая внимание на новые функции и инструменты новейшей — третьей — версии.

    Project Studio CS Конструкции — самостоятельный модуль архитектурно-строительной линейки проектирования, в которую также включены модули Project Studio CS Архитектура, Project Studio CS Фундаменты и Project Studio CS Электрика. Вся линейка разрабатывается компанией Consistent Software.

    Project Studio CS Конструкции является приложением к AutoCAD 2002/2004/2005, предназначенным для разработки комплектов рабочих чертежей марок КЖ и КЖИ. Средствами модуля создаются схемы армирования (для этого в программе предусмотрены инструменты схематичного армирования), узлы и фрагменты армирования (выполняются с использованием инструментов детального армирования), а также арматурные детали и изделия. Полученные детали и изделия автоматически проверяются на предмет соответствия нормативным параметрам и специфицируются.

    Реализованы разделы проектирования сборных железобетонных конструкций: создание схем перемычек над проемами и схем расположения плит перекрытий с возможностью добавления монолитных участков, получение планов и разрезов монолитных участков для последующего армирования средствами модуля. Программа позволяет создавать и редактировать элементные базы данных по используемым элементам, которые хранятся в формате таблиц Microsoft Access. При необходимости база данных пополняется дополнительными элементами, необходимыми для работы конструктора.

    Рис. 1

    Панель инструментов Схематичное армирование включает набор утилит для создания и редактирования следующих изображений:

    • арматурные стержни — с присвоением стержню параметров класса и диаметра;
    • одиночные сетки и раскладки сеток на участке.

    В новой версии программы стало возможным автоматически специфицировать все объекты, созданные средствами инструментов Схематичное армирование (рис. 1).

    С помощью инструментов панели конструируются схемы армирования монолитных железобетонных конструкций, монолитных участков, безбалочных междуэтажных перекрытий, фундаментных плит и т.д. На схемах армирования (они являются основными чертежами комплекта КЖ) обозначаются узлы и фрагменты, а также маркируются арматурные детали и изделия — для их дальнейшей разработки средствами панели инструментов Детальное армирование.

    Рис. 2

    При отрисовке схематичного отображения арматурного стержня открывается диалоговое окно, в котором указываются параметры класса и диаметра (рис. 2), впоследствии используемые для автоматического специфицирования. В процессе создания стержней доступны опции задания перепусков стержней и отрисовки дуговых сегментов. Арматурный стержень может быть отредактирован специальными инструментами модуля.

    Инструмент Условное изображение сетки служит для создания условного изображения арматурной сетки (вид сверху) на схеме армирования в мелком масштабе в соответствии с ГОСТ 21.501−93. Инструмент отрисовки поперечного сечения арматурных сеток предназначен для создания условных изображений поперечных сечений арматурных сеток и объемных каркасов в мелком масштабе. Для раскладки сеток в необходимом количестве и направлении предусмотрена возможность использовать ранее созданный объект «Одиночная сетка».

    С помощью инструмента Изображение анкеров создаются присоединения условных изображений арматурных анкеров по ГОСТ 21. 501−93 и ГОСТ 21.107−78 к концам схематичных стержней. Изображения арматурных анкеров можно копировать от стержня к стержню.

    Команда Раскладка сеток на участке (рис. 3) создает условное изображение группы (раскладки) арматурных сеток (однотипных и с дополнением некратной сетки) на схеме армирования в соответствии с ГОСТ 21.501−93. В пределы указанного прямоугольного участка изображение вписывается автоматически — для этого в программе реализованы три возможных способа раскладки сеток. При отрисовке пользователь может вызвать нормативно-справочное диалоговое окно Стыки арматурных сеток внахлестку (рис. 4): содержащаяся здесь информация поможет определить минимально допустимое значение длины нахлестки сварных сеток (по СНиП 2.03.01−84*).

    Рис. 3 Рис. 4 Рис. 5

    Команда Указатель распределения арматуры позволяет указать отрисованный ранее арматурный стержень и, задав для него зону распределения, получить количество стержней по этой зоне или же рассчитать количество стержней по площади раскладки — путем указания границ участка в соответствии с выбранным шагом распределения. Таким образом, можно создавать схемы как фонового армирования, так и армирования дополнительными стержнями (рис. 5). Данные по количеству стержней используются программой при создании спецификации к схеме армирования объекта.

    Важно заметить, что все упомянутые инструменты позволяют конструктору получать не только готовые чертежи марки КЖ, но и полные спецификации, включающие отдельные стержни (фоновое и дополнительное армирование), используемые при армировании объекта, сетки и каркасы с подсчетом их общего количества и марок. Это автоматически приводит к сокращению сроков работы над проектом с одновременным повышением качества выпускаемой проектной документации.

    Набор инструментов Детальное армирование предназначен для отрисовки арматурных стержней и их сечений в масштабе (1:5, 1:10, 1:20) с точным соблюдением параметров, выбранных при их создании. Стержни представляют собой специальные объекты со всеми свойствами, необходимыми для составления спецификаций арматурных изделий (класс и диаметр арматуры, осевая длина и масса).

    При отрисовке отдельных стержней конфигурацию можно выбирать произвольным образом, в местах изломов используются минимальные параметры загиба, минимальный диаметр и угол которых контролируются на предмет соответствия нормативным требованиям по СНиП 2.0301−84*. Огибающие стержни (хомуты, шпильки, скобы, спирали) программа строит путем указания опорных стержней, которые огибаются этими арматурными изделиями. Кроме того, в автоматическом режиме контролируется соотношение их диаметров. Предусмотрены как контурное, так и сплошное изображение стержней, а также возможность изменения порядка следования в местах пересечений стержней — для получения правильного изображения создаваемого узла. С помощью этих объектов создаются узлы и фрагменты детального армирования, закладные изделия, арматурные детали и изделия.

    Данные об арматурных и закладных изделиях, сформированных из объектов-стержней, автоматически заносятся в базу и используются при составлении спецификаций.

    Использование детального армирования при формировании узлов и фрагментов имеет ряд принципиальных преимуществ перед схематическим изображением:

    • существует возможность точно определить размеры арматурных стержней, их расположение относительно друг друга и опалубки. Тем самым соблюдается необходимая толщина защитного слоя, исключены коллизии при укладке стержней и арматурных изделий;
    • при создании поперечных сечений стержней в узлах и деталях можно присвоить данному сечению параметр «Длина стержня», что позволяет получить полную информацию о стержне и учитывать его данные при включении в спецификации;
    • пользователю не приходится тратить время на множество лишних операций по отрисовке отдельных арматурных деталей (арматурных отгибов и анкеров, хомутов, шпилек, скоб). Арматурная деталь создается методом копирования арматурного стержня из узла или фрагмента — со всеми свойствами; при этом, используя инструмент панели Арматурные изделия и детали, вы можете разогнуть загнутые концы арматурной детали и таким образом получить необходимое изображение для ведомости деталей. Для ее автоматического специфицирования достаточно выбрать арматурную деталь на чертеже;
    • процент армирования поперечного сечения конструкции (балки, колонны и т. д.) можно определять автоматически;
    • существует возможность автоматически проверять и корректировать параметры анкерного отгиба, исходя из требований к нему. Возможна и проверка анкерной петли.
    Рис. 6

    Инструмент Отдельный стержень предназначен для детального рисования отдельных арматурных стержней произвольной формы в крупном масштабе. Минимальное значение диаметра загиба в свету и угол загиба стержня регламентируются пособием к СНиП 2.03.01−84. Инструмент Распределение поперечных сечений стержней обеспечивает различные способы тиражирования поперечных сечений. Минимальные расстояния между стержнями арматуры указаны в СНиП 2.03.01−84*, а необходимые нормативные данные доступны в диалоге Минимально допустимый шаг (рис. 6).

    В программе реализована возможность отрисовки практически всех типов хомутов и шпилек, причем с использованием Project Studio CS Конструкции существенно ускоряется трудоемкая операция вычерчивания хомутов и определения их длины. При отрисовке хомута осуществляется автоконтроль минимально допустимого значения диаметра его арматуры.

    Рис. 7

    Пример чертежа, выполненного с использованием инструментов Детальное армирование, приведен на рис. 7.

    Инструменты панели Нормали предназначены для вызова нормативно-справочных диалоговых окон и оперативного выполнения вспомогательных расчетов при конструировании арматуры (по СНиП 2.03.01−84* и др.). Все значения, определяемые с помощью этих инструментов, используются для построения и проверки создаваемых объектов детального и схематичного армирования. Получаемые данные регламентированы действующими нормативными документами. Кроме того, некоторые нормативные требования автоматически контролируются при построении объектов детального армирования. Проверка выполненных чертежей, произведенная с помощью инструментов этой панели, позволяет убедиться в правильности решений, принятых в процессе проектирования.

    Рис. 8 Рис.  9

    Инструменты панели Арматурные изделия и детали предназначены для создания стандартных и произвольных арматурных изделий. Создание сварных сеток нормируется значениями ГОСТ 23279–85 (рис. 8). Новая версия программы позволяет создавать параметрические плоские и объемные каркасы — с возможностью их разрезки произвольным способом и получения новых арматурных изделий нестандартной формы. Все параметры сеток и каркасов задаются в диалоговом окне (рис. 9) выбором из раскрывающихся списков — ручной ввод параметров не предусмотрен. Разумеется, списки содержат только допустимые стандартом значения. Все изделия автоматически специфицируются.

    Панель Арматурные изделия и детали включает следующие основные инструменты:

    • сетки сварные по ГОСТ 23279–85;
    • каркасы сварные плоские;
    • резка сеток и каркасов;
    • позиционирование деталей и изделий;
    • обозначение сварных соединений;
    • сборка и маркировка изделия.

    Инструмент Каркасы сварные плоские позволяет быстро и корректно выбрать тип каркаса и значения параметров, автоматически выполнить вычисления, а также подготовить изображение для вставки в чертеж.

    С помощью инструмента Резка сеток и каркасов пользователь быстро и корректно создает из готового арматурного изделия новое, имеющее нестандартную геометрию — путем копирования и резки по произвольной границе (полилинии).

    Рис. 10

    Средствами инструмента Сборка и маркировка изделия из нестандартного изделия создается новая марка (рис. 10) с возможностью ее полного специфицирования.

    Предусмотрено получение двух видов спецификаций на арматурные изделия и детали:

    • групповая спецификация арматурных изделий, включающая детальный состав изделия;
    • заготовка спецификации железобетонных конструкций, учитывающая марку сетки (каркаса) и количество данных сеток (каркасов) в проекте.

    Одним из новых решений, предложенных в третьей версии программы, стал инструмент для отрисовки профилей металлопроката в качестве закладных изделий и элементов армирования. В базу профилей включены сортаменты по ГОСТ 19425–74, ГОСТ 8239–89, ГОСТ 26020–83, ГОСТ 8732–78, ГОСТ 2591–88, ГОСТ 26020–83, ГОСТ 19772–93, ГОСТ 19771–93, ГОСТ 8510–86, ИСО 657−1−89, ГОСТ 8240–97, ГОСТ 19425–74. Возможна отрисовка всех возможных проекций профилей металлопроката (рис. 11). Отрисованные профили автоматически специфицируются.

    Создание данного инструмента стало первым шагом в развитии нового раздела, получившего название Закладные изделия: Project Studio CS Конструкции позволит использовать в проектах типовые серии закладных изделий.

    Рис. 11

    В разделе раскладки плит перекрытий впервые появилась возможность автоматически сформировать разрез по плитам и монолитному участку (рис. 12). Полученный разрез может использоваться для создания чертежей армирования монолитного участка.

    Рис. 12

    При формировании спецификации к схеме расположения элементов перекрытия все необходимые параметры плит перекрытия и монолитных участков используются программой генерации табличных форм.

    В заключение хотелось бы выразить признательность всем инженерам-конструкторам, принявшим активное участие в разработке программы. Особая благодарность — сотрудникам московского ТПО «Резер» за высокопрофессиональные консультации по разработке инструментов схематичного армирования.

    Allplan или Revit. Армирование отдельных конструкций

    Revit:
               В плане армирования отдельных конструкций Revit периодически меняет правила игры. Обычно, свободно доступны Autodesk Extansions:


             Когда именно они появляются загадка, но обычно не сразу после релиза новой ежегодной версии, через пару месяцев (а бывает и пол года) , а ниже небольшое видео о возможностях :

               Теперь я за этими расширениями не слежу в силу того, что их использование увеличивает время разработки документации и модели в частности до безобразия. Например выполнить обрамление отверстия в одной конструкции могло занимать до 5 минут, создать фоновое армирование стены еще секунд 30 и тд. Ну и самый главный их недочет, это то что нельзя армировать свои семейства конструкций, только системные и с большим количеством ограничений, например нельзя сразу армировать много разных стен по толщине и длине.

             

               Я уже немного рассказывал про армирование конструкций в нескольких видео уроках. И год назад мы написали собственное приложение предназначенное для фонового армирования конструкций:             Так же я использовал немного другую свою разработку под названием контейнер армирования, программа связывалась с системным семейством недоступным для пользователя. Почему Autodesk не продолжили сами разработку интерфейса данного инструмента?! Я могу только догадываться, возможно нежелание, а возможно проблемы с использованием свободной параметризации, ведь для работы с контейнерами нужно много статических параметров которые невозможно отследить у каждого пользователя со своим шаблоном. 

                В итоге армирование отдельных конструкций сводится к выполнению фонового армирования инструментом «армирование по площади» и дополнением конструкции пользовательскими семействами , в основном это:

    и так далее

                 Использование  пользовательских арматурных семейств на основе глюкнутого IFC экспорта в 2014 версии, дало пользователям шанс армировать своими наработками семейства отдельных конструкций. Но как оказалось дьявол был в мелочах, чем больше модель тем больше «глюков»,  на больших моделях, большое количество данных семейств существенно напрягало ПК. Появлялись явные проблемы с использованием семейств, например при разработке сложного семейства могло не возникать ошибок или иных негативных последствий,. Далее семейство уходило в рабочий проект, в результате разработки модели появлялась необходимость внести изменение в семейство, в 20% случаев дальнейшее изменение семейства влекло за собой ошибку в проекте и полное удаление данного семейства из проекта.             Как итог, армирование отдельных конструкций отсутствует в Revit в неком законченном и систематизированном виде. Политика Autodesk направленна на то , что альтруисты создают наработки своими силами и платят за это Autodesk , так как соглашение разработчика ADSK платное. Ситуация парадоксальная но факт на лицо. Allplan:

               С данным ПО все сводится к максимальной дифференциации решений и инструментов, существует большое количество уже разработанных объектов с армированием так и отдельных узлов. Например инструмент обрамления отверстий :




                Из выше приведенных изображений видно, что гибкость инструментов на много порядков выше существующих решений в Revit.
                Помимо этого существует ряд инструментов по комплексному армированию конструкций, например колонны :
             
            Или такой тип колонн:
    Или вот такой тип колонн:
                Три типа колонн описывают все возможные вариации размещения хомутов и продольных стержней , уникальные конструкции и их армирование отдельными стержнями обсудим в другой теме, в частности сравним армирование изогнутых в двух плоскостях конструкции.
                Помимо этого существует еще много инструментов армирования не типовых сечений колонн, например колонна переменного сечения:
             Существует так же много инструментов узловых мест колонн, например узел армирования консоли:
                Или узел стыка колонны и фундаментной плиты:

               Далее у нас идут балки , тут так же огромное количество всевозможных инструментов, например армирование стандартной балки :


    Или например экзотический вариант исполнения балки :
    Или вариант скатных балок :
              Со стенами в основном возникают проблемы в узловых сечениях , нам тут Allplan так же предлагает большое количество инструментов, например армирование пазов у ниш в стенах, актуально для армирования электрических ниш :
    Или классический стык двух стен:
    Ну и  напоследок решил  показать самые экзотические, например армирование лестниц:
    Или классические «стаканы»:

                Все инструменты я думаю перечислить почти невозможно и 99% пользователям скорее всего все не пригодятся вообще, в общей сложности сателлитов около 103 штук, это даже намного больше чем в Tekla Structures.
               Помимо этого существуют, так же как и в Revit, свои внутренние компоненты сразу с арматурой или иными элементами, носят они название SmartPart и PythonPart, для примера PythonPart армирования приямка :

               И это мы еще не дошли до SmartParts, но его оставим на десерт в следующий раз.

               Положительные стороны и недостатки семейств revit и компонентов Allplan я вынесу в отдельное сравнение.

          

    Engineer Serg — Небольшие заметки молодого инженера

    Сегодня речь пойдёт о музее изобразительного искусства MIS Copacabana в Рио-де-Жанейро в Бразилии и о пандусах на его главном фасаде.

    Ссылка на архдэйли

    Так вот — фасад и пандусы прекрасны и кажутся очень и очень тонкими и лёгкими при огромных пролётах. Но просто картинка меня не устраивает и я попробую смоделировать этот фасад и разобраться, действительно ли тут не обошлось без магии (картинки кликабельны)

    Исходные данные

    Для своих расчётов я принял крайние пролёты по 9м, средние по 12м, вынос стен — от 3 до 6м, высоты этажей — от 4 до 9м.  Первоначальную толщину пандусов, торцов плит и стен приму 300мм. Толщина основного кессонного перекрытия, мне кажется, не меньше 900, но его я рассматривать не буду.

    И вот какой фасад получился у меня в скаде:

    По такой грубой схеме нельзя сделать проект и построить. Но зато геометрия стала более наглядной, так же я могу, в случае необходимости, получить какие-то усилия в пандусах, пусть и в первом приближении.

    Конструктивные особенности

    Первое важное замечание — разбегающиеся под огромными углами колонны сходятся в одной точке и не пытаются растянуть или разорвать перекрытие.

    Вторая особенность: большие консольные вылеты перекрытий, как они работают?Во-первых, за счёт совместной работы с монолитными стенами по принципам двутавровой балки:

    Посмотрите на третью сверху плиту. Чем ближе к стене, тем дальше можно сделать вылет! Очень грамотное решение

    Во-вторых, на фото видно как перекрытия уменьшаются по высоте ближе к краю, а на опоре достигают толщины основного перекрытия, что более рационально с точки зрения материалоёмкости и веса конструкции, правда сложнее в расчётах.

    Это же решение мы видим и по торцам

    Третья особенность: средний пандус — опирается на колонны через мощную балку. При этом в ней возникает сильное кручение — но при достаточной ширине (я думаю тут миллиметров 800) это возможно.

    На втором фото видно что пандус как и перекрытия сужается к концу, то есть маленькая толщина — тоже иллюзия и сечения пандусов не прямоугольные, а трапециевидные.

    Четвёртая особенность — полный пролёт верхнего пандуса — под 30 метров. Но реальный на 9-10 метров меньше — до пересечения со вторым пандусом он работает так же как консольный свес перекрытия. То есть второй пандус – обманка (так же в месте их пересечения видна здоровенная балка).

    Тем не менее свободный пролёт пандуса около 20м и для прямоугольного сечения высотой 300мм это просто невозможно — он должен был провиснуть под собственным весом как верёвка.

    Поэтому я прислушался к советам и решил проверить — а будет ли оно работать с трапециевидным сечением?

    Проблема была в том что в скаде/арбате/на коленке такое сечение не посчитать, тем более не найти прогиб. Пришлось разбираться в НДМ (нелинейной деформационной модели) и искать подходящий калькулятор.

    Если кратно — то обычно жб сечения мы рассчитываем методом предельных усилий — при которых либо достигает предела текучески арматура, либо ломается сжатый бетон.

    Позже была разработана деформационная модель — как более универсальная; в ней мы определяем деформации в сечении с учётом пластической работы и бетона и арматуры и сравниваем их с предельными. Эта модель применяется в ЕС и появилась в наших нормах.

    Несмотря на подход с разных сторон, для простых стандартных сечений оба метода дают очень близкие результаты и оба хороши, но мне нужны были именно деформации.

    Взяв с расчётной схемы моменты и продольные силы в 7-ми сечениях, при помощи НДМ я смог получить кривизну оси в каждом сечении, а по ней – прогиб, по формулам из учебников [1, 2]. Ширина 3000мм, высота меняется от 300 до 600мм, армирование d25 с шагом 100мм (2,18% — вообще это очень много, но реалистично)

    В итоге я получил расчётный прогиб 89-100мм, при допустимом 80мм (1/250). Несмотря на это хочу отметить две вещи: арматуру можно разместить более рационально, сгустив с той стороны где сечение выше, либо используя жёсткую арматуру (например двутавры).

    Второе – я так же порешал тестовые задачки со стандартными условиями – и рассчитанный вручную прогиб был больше того что выдал «арбат» на те же 10-20%. Кому верить больше пока не знаю, буду ещё разбираться и пробовать.

    Вывод – данное решение жизнеспособно и вполне может быть правдой, но сколько мы будем его рассчитывать и проектировать это, конечно, вопрос))

    В кажущейся тонкости пандуса есть ещё одна обманка: громоздкая лестница немного отодвинута от края; предполагается, что если смотреть на фасад снизу/издали, будет видно только акцентировано белую тонкую полосу плиты, а сама лестница скроется на заднем плане за перилами.

    На нижних уровнях всё повторяется. И хотя это звучит просто – я восхищён тем, насколько архитекторы и инженеры смогли всё продумать и друг на друга завязать.

    Кстати, нашёл схему того, как они пришли к такой форме:

    И в заключение ещё несколько фото строительства. Обратите внимание на количество лесов:

    Renga: самая аксонометрическая и трехмерная!

    Лето – это не только высокий туристический сезон, но и «горячая пора» для проектировщиков и строителей. Архитекторам, конструкторам и инженерам нужно успеть доделать свои проекты, чтобы строители могли за лето и осень выполнить наружные монтажно-строительные работы на объекте, а зимой приступить к внутренней отделке. Новый релиз Renga – в помощь проектировщикам в это «жаркое время».

    Настоящий восторг у пользователей вызовет возможность получать 44 аксонометрические проекции в Renga и вставлять их на чертеж. Проектировщики смогут оперировать всеми аксонометрическими видами, которые описаны в межгосударственном стандарте ГОСТ 2.317-2011 «Единая система конструкторской документации (ЕСКД). Аксонометрические проекции». Такого выбора возможных проекций не предоставляет ни одна другая система для архитектурно-строительного проектирования!

    Появление аксонометрии в Renga больше всего ждали инженеры-проектировщики, для которых аксонометрические схемы внутренних инженерных систем являются обязательной частью проектной документации. В новом релизе инженеры смогут их создавать в соответствии с требованиями ГОСТ.  Это выгодно отличает Renga MEP от других программ, позволяющих проектировать внутренние инженерные системы (рис. 1).

    Рисунок 1 – Пример аксонометрической схемы хозяйственно-бытовой канализации

    Для архитекторов и конструкторов аксонометрические проекции — это еще один способ демонстрации своих решений при оформлении графической документации. Эти виды, в отличие от стандартных (планы, фасады, разрезы), позволяют более наглядно отобразить, например, сложный узел соединения элементов или части здания (рис. 2). А также показать монтажные виды конструктивных элементов (рис. 3).

     

    Рисунок 2 – Аксонометрические виды, полученные с модели 

    Рисунок 3 – 3D-вид каркаса здания для монтажа

    В новом релизе значительно расширились возможности проектировщиков по созданию 3D-модели. Проектировать объекты теперь можно в любой точке 3D-пространства, а копировать объекты можно в любой плоскости, а не только в пределах рабочей поверхности (рис. 4, рис. 5). Например, теперь можно в одно действие скопировать стену с оконными проемами вверх по фасаду!

    Рисунок 4 – Стена с оконными проемами скопирована вверх по фасаду.

    Рисунок 5 — Доска обрешетки скопирована по направлению ската крыши

    С новой функциональностью Renga в полной мере раскрывает свой уникальный потенциал по моделированию в 3-х мерном пространстве. Он делает Renga недосягаемой для других BIM-систем в плане скорости создания 3D-модели. Уверены, что пользователи оценят это по достоинству.

    Информационная модель на этапе строительства здания пока еще используется редко. В основном обмен проектной документацией между проектировщиками и заказчикам происходит в формате PDF. С выходом нового релиза у пользователей появилась возможность вставлять на 3D-вид PDF-чертежи и использовать их в качестве основы для создания информационной модели здания, что значительно сократит время работы над моделью (рис. 6).

    Рисунок 6 – Импортированный PDF-чертеж в систему Renga

    Кроме того, специалисты при подготовке проектной документации для подачи в экспертизу или передачи заказчику теперь могут воспользоваться возможностью пакетного экспорта чертежей в форматы PDF/DWG/DXF и, в считанные минуты, получить готовый комплект документов (рис. 7).

    Рисунок 7 – Проектная документация в PDF-формате

    Архитекторы оценят, как изменился инструмент «Двери». Создавая новые стили дверей в Renga Architecture, пользователи смогут детально прорабатывать их конструкции, управлять параметрами дверной коробки, добавлять пороги и наличники. Renga теперь показывает зону открывания дверей, чтобы архитектор при их расстановке мог убедиться, что полотна находящихся рядом дверей не блокируют друг друга при открытии, а также обеспечивают необходимую ширину эвакуационного пути. Пользователь также сможет настраивать уровень детализации дверей на чертежах – отображать ли детально всю конструкцию с порогами, наличниками и коробкой или показывать упрощенно только полотно. Но и это еще не все! В Renga появился уровень детализации «Условное А», позволяющий отображать на планах двери, открытые под углом 30°, и «Условное Б», отображающий двери под 90° для оформления чертежей по ГОСТ, а также уровень детализации «Упрощённое» для оформления чертежей по ISO (рис. 8).

     

    Рисунок 8 – Варианты отображения дверей на плане позволяют оформить чертежи по ГОСТ (вверху) и по ISO (внизу).

    В предыдущих релизах Renga системы перекрытия и проемы в перекрытиях не были привязаны друг к другу. Это вызывало неудобства при внесении изменений в 3D-модель зданий. В случае изменения проектного положения плит перекрытий, положение проемов пользователям приходилось править отдельно. С выходом нового релиза все проемы и их усиление арматурными стержнями принадлежат перекрытиям. В случае корректировки модели и переносе перекрытия в другое проектное положение, проем автоматически перенесется вместе с перекрытием (рис. 9). Это не может не порадовать конструкторов, работающих в Renga Structure!

     

    Рисунок 9 – Принадлежность проема и его усиления перекрытию

    Также новый функционал существенно ускорил оформление чертежей монолитных ж/б плит. Теперь на чертежах перекрытий помимо фонового армирования монолитных ж/б плит отображается и усиление проема. В предыдущих же релизах для оформления корректных чертежей плит перекрытий, армирование проемов приходилось выносить на чертеж отдельно.

    В Renga MEP широкое развитие получили инструменты для проектирования внутренних инженерных сетей. Новые стили санитарно-технического оборудования «Биде» и «Писсуар», а также разнообразная запорно-регулирующая арматура расширят возможности инженера при проектировании системы «Водоснабжения и водоотведения». И позволят получить спецификацию элементов системы по ГОСТ (рис. 10).

     

    Рисунок 10 – Спецификация элементов системы «Водоснабжения и водоотведения» по ГОСТ 21.110-95 (форма 1)

    Новое оборудование «Отопительный прибор» «Бак», «Водонагреватель», «Теплоообменник» и приборы учета тепловой энергии позволят создавать систему «Отопления и ИТП». Подробнее об этом читайте в новости «Renga MEP: всем тепла!».

    Это далеко не все новинки, которые ждут Вас в Renga. Чтобы ознакомиться со всеми новшествами, скачайте свежий релиз или обновите ранее установленный. Увидеть новые инструменты в работе Вы сможете на вебинаре «Аксонометрия в Renga или BIM под градусом», который состоится 20 июня.

    В скором времени на нашем сайте появятся статьи, где будут описаны примеры использования новых возможностей Renga при решении задач проектирования.  Вам будет что почитать этим летом в свободное от работы время. А оно точно появится, ведь с новым релизом Ваши проекты будут выполняться быстрее!

    Подкрепление — Scholarpedia

    Деятельность после публикации

    Куратор: Рой Уайз

    Подкрепление — термин, используемый теоретиками обучения для описания основного процесса ассоциативного обучения.

    История

    Термин подкрепление был введен Павловым в 1903 г. для обозначения усиления связи между безусловным и условным раздражителем, возникающего при их совместном предъявлении.Если ассоциацию периодически не «подкреплять» таким спариванием, то эффективность условного раздражителя падает: условная реакция подвергается угасанию . Для Павлова потенциальным подкреплением был любой безусловный раздражитель, например еда или дуновение воздуха в глаз; сочетание такого раздражителя с нейтральным стимулом составляло подкрепление. Термин обозначал для Павлова усиление (и установление) связи между условным раздражителем и его безусловным исходным раздражителем (Павлов, 1928).

    Термин «подкрепление» в настоящее время используется больше в отношении обучения в ответ, чем в отношении обучения стимулом. Торндайк впервые представил концепцию подкрепления реакции, предположив, что реакции, за которыми «вплотную следует удовлетворение», будут «более прочно связаны с ситуацией, так что, когда она повторяется, вероятность их повторения будет выше». В этом суть Закона Эффекта Торндайка (Thorndike, 1911), более формальной формулировки «впечатывания» связей стимул-реакция, которую он ввел десятилетием ранее (Thorndike, 1898).В то время как Торндайк обсуждал основное понятие подкрепления, только в 1933 году Торндайк (Thorndike, 1933) и Скиннер (Skinner, 1933) приняли термин подкрепления Павлова для обозначения усиления ассоциаций стимул-реакция.

    Хотя Скиннер изначально думал об инструментальном поведении и использовал термин подкрепление в рамках павловского обусловливания, вскоре он (Skinner, 1937) пришел к выводу, что стимул (павловское) и ответное («оперантное» или «инструментальное») научение включают различные принципы и требуют различных рамок.Он пришел к отрицанию того, что то, что мы считаем «целенаправленным» поведением, изначально вызывается внешним стимулом, и вместо этого утверждал, что первоначальные действия, которые впоследствии формируются в инструментальное поведение, излучаются организмом случайным образом, так же как случайным образом испускаются частицы. радиоактивной молекулой. Он переименовал то, что до сих пор называлось «реакцией», назвав его «оперантом», но теперь этот термин включал контролирующий стимул в так называемую трехкомпонентную контингентность : подкрепление усиливает реакцию в присутствии контролирующего фактора. или «различительный» стимул.Его новая формулировка звучала так: «Если за появлением операнта следует предъявление подкрепляющего стимула, сила увеличивается» (Skinner, 1938), стр. 21. Одна проблема с формулировкой Скиннера заключается в том, что он не уточняет в своем формальном заявлении , что это такое, что усиливается. В другом месте он указывает, что «оперант» усилен. Под этим он подразумевает, что его частота увеличилась.

    • Для Павлова была усилена ассоциация между двумя стимулами (обучение S-S).
    • Для Торндайка была усилена связь между стимулом и реакцией (обучение S-R).
    • Для Скиннера нет отношений, которые нужно укреплять; нет стимула для участия в ассоциации. Есть только оперант, привязанный только вероятностно, а не каузально к какому-либо предшествующему событию, с которым он может быть связан.

    Однако через несколько страниц после определения интересующего поведения как «операнта» Скиннер возвращается к общепринятому термину «отклик»:

    «В первой главе указывалось, что существует два типа условного рефлекса, определяемые в зависимости от того, коррелирует ли подкрепляющий стимул с реакцией» (Скиннер, 1938), стр. 62.

    В третьей и последующих главах именно «ответы» или «ответы в час» появляются на ординатах его графиков. Просто заявив, что оперант представляет собой поведенческую эмиссию, а не реакцию на вызывающий стимул, Скиннер продолжает предполагать, что животное усваивает взаимосвязь между своим поведением и его последствиями, форма обучения, обозначенная как «реакция-результат». RO) обучение более поздних работников. Таким образом, в рамках скиннеровской концепции усваивается и «подкрепляется» связь между реакцией и ее результатом.”

    Механизмы

    Первая великая теория подкрепления заключалась в том, что оно отпечатывается в памяти, уменьшая физиологические потребности или дисбаланс (Hull, 1943). Это понятие было привлекательным, поскольку оно говорило об очевидном факте, что обучение является механизмом, с помощью которого высшие животные могут удовлетворять свои потребности, несмотря на изменения окружающей среды, которые бросают вызов механизму инстинктов. Однако это было близоруко, поскольку имело дело только с научением в ответ, а не с научением по стимулу, для которого впервые был использован этот термин.Даже в случае ответного обучения вскоре стало ясно, что снижение потребности не является необходимым условием для подкрепления. Наиболее показательной была демонстрация того, что крысы научились работать с подсластителями, не имеющими питательной ценности (Шеффилд и Роби, 1950), или с прямой электрической стимуляцией определенных проводящих путей мозга (Олдс и Милнер, 1954). Испытываемые жаждой крысы навязчиво облизывают воздушный поток, который испаряет слюну и еще больше обезвоживает животное (Freed and Mendelson, 1974). В самом деле, поведение животных изобилует примерами подкрепления, не снижающего явной физиологической потребности (Harlow, 1953).

    Теории подкрепления, которые постулируют физиологические механизмы, делятся на две категории: одна пытается охарактеризовать анатомический субстрат (Glickman and Schiff, 1967; Gallistel et al. , 1981; Wise, 2002: см. для характеристики критических нейрофизиологических или нейрохимических явлений. Акцент на критических событиях сосредоточен на понятии консолидации памяти; штамповка или усиление памяти и консолидация памяти концептуально неразличимы (Landauer, 1969).

    Доказательства того, что поощрения усиливают консолидацию памяти, получены в исследованиях, в которых поощрение вводится после несвязанного эпизода тренировки. Демонстрация прототипа включала пошаговую задачу избегания; животные, которым был дан доступ к пище после тренировочных испытаний, демонстрировали большее сохранение обучения избеганию, чем животные, которым не давали немедленную пищу (Huston et al., 1974). Так же,

    • Электрошок после пробы может усилить консолидацию памяти (White and Legree, 1984).
    • Прием сахарозы после испытания также очень эффективен;
    • после испытания сахарина меньше, несмотря на сравнение изогедонических концентраций (Messier and White, 1984).

    Клеточная основа консолидации памяти является областью активных исследований и гипотез. Ряд доказательств подтверждает, что дофамин важен для инструментального обучения с помощью пищи, стимуляции мозга и подкрепления лекарствами (Wise, 2004). Более того, выброс дофамина после пробы может усилить консолидацию памяти (White, 1996).Наконец, дофамин, по-видимому, играет важную роль в долговременной потенциации и длительной депрессии у млекопитающих, моделях обучения и памяти на клеточном уровне (Wise, 2004), точно так же, как серотонин играет такую ​​роль в аплизии (Kandel, 2001). . Однако дофамин не играет абсолютно существенной роли. В то время как крысы, получавшие антагонисты дофамина, ведут себя так, как будто еда, стимуляция мозга и психомоторные стимуляторы, вызывающие привыкание, больше не подкрепляют, нокаутированные мыши, у которых отсутствует дофамин с рождения, могут обучаться вкусовым предпочтениям (Cannon and Palmiter, 2003), и, если им дают кофеин, пища вознаграждается. Привычки реакции Т-образного лабиринта (Robinson et al., 2005). Таким образом, другие системы способны взять на себя эти функции у мышей, рожденных с дефицитом дофамина.

    Отличие от «вознаграждения»

    Различие между понятиями поощрения и вознаграждения затруднено из-за допущений здравого смысла, часто связанных с последним. Многие ученые используют термин «подкрепление» и избегают термина «вознаграждение» из соображений точности и объективности, в то время как другие ученые, также во имя точности, предпочитают использовать термин «вознаграждение» (Wise, 1989).

    Наиболее широко распространенное различие заключается в том, что вознаграждение представляет собой положительное подкрепление , объекты или события, к которым приближаются, а от которых не отказываются, в то время как подкрепление не обязательно. Связанная с этим коннотация заключается в том, что вознаграждение часто считается психологически гедонистическим, тогда как подкрепление не обязательно должно быть таковым. Термин «вознаграждение» с этой точки зрения является синонимом фразы «положительное подкрепление» (White, 1989). Класс подкрепления включает в себя отрицательных подкрепления , фраза со своими определениями. Отрицательное подкрепление — это подкрепление, возникающее в результате прекращения продолжающегося — обычно аверсивного — состояния. Назовем ли мы тогда аверсивное состояние негативным подкреплением или назовем его карателем? В народном употреблении нет единого мнения по этому вопросу, но в специальной литературе предъявление болевого раздражителя обозначается наказанием, а не отрицательным подкреплением.

    Одна группа специалистов, которая часто использует термин «вознаграждение», а не термин «подкрепление», включает тех, кто изучает животных, обученных нажимать на рычаг для прямой электрической стимуляции мозга.В этом случае стимуляция имеет подкрепляющий эффект, зависящий от памяти, но также и независимый от памяти мгновенный «затравочный» эффект. Эффект прайминга заряжает животное энергией и ненадолго увеличивает вероятность повторения заслужившей его реакции. Этот эффект не сохраняется в памяти. Эффективность прайминга снижается в течение десятков секунд, тогда как подкрепляющие (постпробные) эффекты стимуляции сохраняются в течение нескольких дней (Gallistel et al. , 1974). Подкрепляющий эффект послепробного подкрепления находит свое отражение в долговременной памяти, в то время как праймирующий эффект допробного предъявления той же стимуляции — нет.Поскольку животное обычно отвечает на стимуляцию 50-100 раз в минуту, эффект прайминга каждой стимуляции в этих исследованиях весьма значителен. По этой причине стимуляцию часто называют «вознаграждением за стимуляцию мозга» — фразой, которая не различает начальные и подкрепляющие действия, которые совместно определяют скорость реакции животного (Wise, 1989). Тот факт, что физиологические психологи склонны отдавать предпочтение термину «вознаграждение», в то время как поведенческие фармакологи предпочитают термин «подкрепление» (несмотря на тот факт, что самостоятельный прием лекарств, таких как самостоятельная стимуляция мозга, оказывает как праймирующее, так и подкрепляющее действие: Pickens and Harris, 1968). усиливает неуверенность неспециалистов в отношении того, какой термин следует предпочесть.

    Субъективные корреляты

    Хотя положительные подкрепления часто связаны с сознательным удовольствием, неясно, обязательно ли это так. Также неясно, нужно ли ассоциировать отрицательное подкрепление с осознанной болью или дистрессом. Неясно, имеет ли подкрепление необходимые субъективные корреляты. Действительно, субъективные оценки двух наборов подкрепляющих стимулов не обязательно предсказывают, какой набор субъект будет нажимать на рычаг, чтобы просмотреть (Aharon et al., 2001).Субъекты-люди сообщают, что субъективное удовольствие от инъекций героина или кокаина резко снижается при повторном употреблении наркотиков, однако инъекции по-прежнему сильно контролируют их поведение, связанное с поиском наркотиков. Возможно, что нет никакого сознательного коррелята фундаментального процесса подкрепления, и что удовольствие (или боль) сообщается просто как догадка субъекта о том, что повлияло на его поведение. Например, исследования на людях субъективных коррелятов мотивации и подкрепления, а также попытки смоделировать субъективные состояния у животных привели к выводу, что желание стимула и симпатия к стимулу не обязательно являются сознательными переживаниями (Berridge and Winkielman, 2003).

    Ссылки

    Aharon I, Etcoff N, Ariely D, Chabris CF, O’Connor E, Breiter HC (2001) Красивые лица имеют переменную ценность вознаграждения: фМРТ и поведенческие данные. Нейрон 32: 537-551.

    Берридж К.С., Винкельман П. (2003) Что такое бессознательная эмоция? (Случай неосознанной «приязни»). Познание и эмоции 17:181-211.

    Берридж К.С., Робинсон Т.Е. (2003) Награда за разбор. Тренды Нейроси. 26(9):507-13. Обзор. Опечатка в: Trends Neurosci. 26(11):581.

    Cannon CM, Palmiter RD (2003) Награда без дофамина.Журнал неврологии 23:10827-10831.

    Фрид В. Дж., Мендельсон Дж. (1974) Лизание воздуха: Крысы, испытывающие жажду, предпочитают теплый сухой воздушный поток теплому влажному воздушному потоку. Физиология и поведение 12: 557-561.

    Gallistel CR, Stellar JR, Bubis E (1974) Параметрический анализ вознаграждения за стимуляцию мозга у крыс: I. Переходный процесс и процесс, содержащий память. Журнал сравнительной и физиологической психологии 87: 848-859.

    Галлистел К.Р., Шизгал П., Йоманс Дж. (1981) Портрет субстрата для самостимуляции.Психологический обзор 88: 228-273.

    Гликман С.Е., Шифф Б.Б. (1967) Биологическая теория подкрепления. Психологический обзор 74:81-109.

    Harlow HF (1953) Мыши, обезьяны, люди и мотивы. Психологический обзор 60:23-32.

    Hull CL (1943) Принципы поведения. Нью-Йорк: Appleton-Century-Crofts.

    Хьюстон Дж. П., Мондадори С., Васер П. Г. (1974) Облегчение обучения за счет вознаграждения за процессы памяти после проб. Опыт 30:1038-1040.

    Кандель Э.Р. (2001) Молекулярная биология хранения памяти: диалог между генами и синапсами.Наука 294:1030-1038.

    Landauer TK (1969) Армирование как укрепление. Психологический обзор 76:82-96.

    Мессье С., Уайт Н.М. (1984) Условные и неусловные действия подкрепителей сахарозы и сахарина: влияние на вкусовые предпочтения и память. Физиология и поведение 32:195-203.

    Олдс Дж., Милнер П.М. (1954) Положительное подкрепление, вызываемое электрической стимуляцией области перегородки и других областей мозга крысы. Журнал сравнительной и физиологической психологии 47: 419-427.

    Павлов И.П. (1928) Лекции по условным рефлексам. Нью-Йорк: Международные издатели.

    Pickens R, Harris WC (1968) Самостоятельный прием d-амфетамина крысами. Психофармакология 12:158-163.

    Робинсон С., Сандстром С.М., Дененберг В.Х., Палмитер Р.Д. (2005) Определение того, регулирует ли дофамин симпатию, желание и/или изучение вознаграждений. Поведенческая неврология 119:5-15.

    Шеффилд Ф.Д., Роби Т.Б. (1950) Поощрительная ценность некалорийного сладкого вкуса.Журнал сравнительной и физиологической психологии 43: 471-481.

    Скиннер Б.Ф. (1933) Скорость установления дискриминации. Журнал общей психологии 9: 302-350.

    Скиннер Б.Ф. (1937) Два типа условного рефлекса: ответ Конорскому и Миллеру. Журнал общей психологии 16: 272-279.

    Скиннер Б.Ф. (1938) Поведение организмов. Нью-Йорк: Appleton-Century-Crofts.

    Торндайк Э.Л. (1898 г.) Интеллект животных: экспериментальное исследование ассоциативных процессов у животных. Психологические монографии 8:1-109.

    Торндайк Э.Л. (1911) Интеллект животных. Нью-Йорк: Макмиллан.

    Торндайк Э.Л. (1933) Теория действия на него последствий соединения. Психологический обзор 40:434-439.

    Белый NM (1989) Награда или поощрение: в чем разница? Neurosci Biobehav Откр. 13:181-186.

    Уайт Н.М. (1996) Наркотики, вызывающие привыкание, как подкрепление: множественные частичные действия на системы памяти. Склонность 91:921-949.

    White NM, Legree P (1984) Влияние послетренировочного воздействия аверсивного стимула на запоминание.Физиологическая психология 12: 233-236.

    Мудрый Р.А. (1989) Мозг и награда. В: Нейрофармакологическая основа вознаграждения (Либман Дж. М., Купер С. Дж., Ред.), стр. 377–424. Оксфорд: Издательство Оксфордского университета.

    Мудрый Р.А. (2002) Схема вознаграждения мозга: понимание неощутимых стимулов. Нейрон 36: 229-240.

    Мудрый Р.А. (2004) Дофамин, обучение и мотивация. Nature Reviews Neuroscience 5: 483-494.

    Внутренние ссылки

    • Говард Эйхенбаум (2008) Память.Scholarpedia, 3 (3): 1747.
    • Вольфрам Шульц (2007) Награда. Scholarpedia, 2 (3): 1652.

    Внешние ссылки

    См. также

    Классическое обусловливание, оперантное обусловливание, обучение с подкреплением, вознаграждение, сигналы вознаграждения

    Подкрепление — Scholarpedia

    Деятельность после публикации

    Куратор: Рой Уайз

    Подкрепление — термин, используемый теоретиками обучения для описания основного процесса ассоциативного обучения.

    История

    Термин подкрепление был введен Павловым в 1903 г. для обозначения усиления связи между безусловным и условным раздражителем, возникающего при их совместном предъявлении. Если ассоциацию периодически не «подкреплять» таким спариванием, то эффективность условного раздражителя падает: условная реакция подвергается угасанию . Для Павлова потенциальным подкреплением был любой безусловный раздражитель, например еда или дуновение воздуха в глаз; сочетание такого раздражителя с нейтральным стимулом составляло подкрепление.Термин обозначал для Павлова усиление (и установление) связи между условным раздражителем и его безусловным исходным раздражителем (Павлов, 1928).

    Термин «подкрепление» в настоящее время используется больше в отношении обучения в ответ, чем в отношении обучения стимулом. Торндайк впервые представил концепцию подкрепления реакции, предположив, что реакции, за которыми «вплотную следует удовлетворение», будут «более прочно связаны с ситуацией, так что, когда она повторяется, вероятность их повторения будет выше.В этом заключается суть Торндайка (Thorndike, 1911) Закона Эффекта , более формальной формулировки «впечатывания» связей стимул-реакция, которую он ввел десятилетием ранее (Thorndike, 1898). В то время как Торндайк обсуждал основное понятие подкрепления, только в 1933 году Торндайк (Thorndike, 1933) и Скиннер (Skinner, 1933) приняли термин подкрепления Павлова для обозначения усиления ассоциаций стимул-реакция.

    Хотя Скиннер изначально думал об инструментальном поведении и использовал термин подкрепление в рамках павловского обусловливания, вскоре он (Skinner, 1937) пришел к выводу, что стимул (павловское) и ответное («оперантное» или «инструментальное») научение включают различные принципы и требуют различных рамок.Он пришел к отрицанию того, что то, что мы считаем «целенаправленным» поведением, изначально вызывается внешним стимулом, и вместо этого утверждал, что первоначальные действия, которые впоследствии формируются в инструментальное поведение, излучаются организмом случайным образом, так же как случайным образом испускаются частицы. радиоактивной молекулой. Он переименовал то, что до сих пор называлось «реакцией», назвав его «оперантом», но теперь этот термин включал контролирующий стимул в так называемую трехкомпонентную контингентность : подкрепление усиливает реакцию в присутствии контролирующего фактора. или «различительный» стимул.Его новая формулировка звучала так: «Если за появлением операнта следует предъявление подкрепляющего стимула, сила увеличивается» (Skinner, 1938), стр. 21. Одна проблема с формулировкой Скиннера заключается в том, что он не уточняет в своем формальном заявлении , что это такое, что усиливается. В другом месте он указывает, что «оперант» усилен. Под этим он подразумевает, что его частота увеличилась.

    • Для Павлова была усилена ассоциация между двумя стимулами (обучение S-S).
    • Для Торндайка была усилена связь между стимулом и реакцией (обучение S-R).
    • Для Скиннера нет отношений, которые нужно укреплять; нет стимула для участия в ассоциации. Есть только оперант, привязанный только вероятностно, а не каузально к какому-либо предшествующему событию, с которым он может быть связан.

    Однако через несколько страниц после определения интересующего поведения как «операнта» Скиннер возвращается к общепринятому термину «отклик»:

    «В первой главе указывалось, что существует два типа условного рефлекса, определяемые в зависимости от того, коррелирует ли подкрепляющий стимул с реакцией» (Скиннер, 1938), стр. 62.

    В третьей и последующих главах именно «ответы» или «ответы в час» появляются на ординатах его графиков. Просто заявив, что оперант представляет собой поведенческую эмиссию, а не реакцию на вызывающий стимул, Скиннер продолжает предполагать, что животное усваивает взаимосвязь между своим поведением и его последствиями, форма обучения, обозначенная как «реакция-результат». RO) обучение более поздних работников. Таким образом, в рамках скиннеровской концепции усваивается и «подкрепляется» связь между реакцией и ее результатом.”

    Механизмы

    Первая великая теория подкрепления заключалась в том, что оно отпечатывается в памяти, уменьшая физиологические потребности или дисбаланс (Hull, 1943). Это понятие было привлекательным, поскольку оно говорило об очевидном факте, что обучение является механизмом, с помощью которого высшие животные могут удовлетворять свои потребности, несмотря на изменения окружающей среды, которые бросают вызов механизму инстинктов. Однако это было близоруко, поскольку имело дело только с научением в ответ, а не с научением по стимулу, для которого впервые был использован этот термин.Даже в случае ответного обучения вскоре стало ясно, что снижение потребности не является необходимым условием для подкрепления. Наиболее показательной была демонстрация того, что крысы научились работать с подсластителями, не имеющими питательной ценности (Шеффилд и Роби, 1950), или с прямой электрической стимуляцией определенных проводящих путей мозга (Олдс и Милнер, 1954). Испытываемые жаждой крысы навязчиво облизывают воздушный поток, который испаряет слюну и еще больше обезвоживает животное (Freed and Mendelson, 1974). В самом деле, поведение животных изобилует примерами подкрепления, не снижающего явной физиологической потребности (Harlow, 1953).

    Теории подкрепления, которые постулируют физиологические механизмы, делятся на две категории: одна пытается охарактеризовать анатомический субстрат (Glickman and Schiff, 1967; Gallistel et al. , 1981; Wise, 2002: см. для характеристики критических нейрофизиологических или нейрохимических явлений. Акцент на критических событиях сосредоточен на понятии консолидации памяти; штамповка или усиление памяти и консолидация памяти концептуально неразличимы (Landauer, 1969).

    Доказательства того, что поощрения усиливают консолидацию памяти, получены в исследованиях, в которых поощрение вводится после несвязанного эпизода тренировки. Демонстрация прототипа включала пошаговую задачу избегания; животные, которым был дан доступ к пище после тренировочных испытаний, демонстрировали большее сохранение обучения избеганию, чем животные, которым не давали немедленную пищу (Huston et al., 1974). Так же,

    • Электрошок после пробы может усилить консолидацию памяти (White and Legree, 1984).
    • Прием сахарозы после испытания также очень эффективен;
    • после испытания сахарина меньше, несмотря на сравнение изогедонических концентраций (Messier and White, 1984).

    Клеточная основа консолидации памяти является областью активных исследований и гипотез. Ряд доказательств подтверждает, что дофамин важен для инструментального обучения с помощью пищи, стимуляции мозга и подкрепления лекарствами (Wise, 2004). Более того, выброс дофамина после пробы может усилить консолидацию памяти (White, 1996).Наконец, дофамин, по-видимому, играет важную роль в долговременной потенциации и длительной депрессии у млекопитающих, моделях обучения и памяти на клеточном уровне (Wise, 2004), точно так же, как серотонин играет такую ​​роль в аплизии (Kandel, 2001). . Однако дофамин не играет абсолютно существенной роли. В то время как крысы, получавшие антагонисты дофамина, ведут себя так, как будто еда, стимуляция мозга и психомоторные стимуляторы, вызывающие привыкание, больше не подкрепляют, нокаутированные мыши, у которых отсутствует дофамин с рождения, могут обучаться вкусовым предпочтениям (Cannon and Palmiter, 2003), и, если им дают кофеин, пища вознаграждается. Привычки реакции Т-образного лабиринта (Robinson et al., 2005). Таким образом, другие системы способны взять на себя эти функции у мышей, рожденных с дефицитом дофамина.

    Отличие от «вознаграждения»

    Различие между понятиями поощрения и вознаграждения затруднено из-за допущений здравого смысла, часто связанных с последним. Многие ученые используют термин «подкрепление» и избегают термина «вознаграждение» из соображений точности и объективности, в то время как другие ученые, также во имя точности, предпочитают использовать термин «вознаграждение» (Wise, 1989).

    Наиболее широко распространенное различие заключается в том, что вознаграждение представляет собой положительное подкрепление , объекты или события, к которым приближаются, а от которых не отказываются, в то время как подкрепление не обязательно. Связанная с этим коннотация заключается в том, что вознаграждение часто считается психологически гедонистическим, тогда как подкрепление не обязательно должно быть таковым. Термин «вознаграждение» с этой точки зрения является синонимом фразы «положительное подкрепление» (White, 1989). Класс подкрепления включает в себя отрицательных подкрепления , фраза со своими определениями. Отрицательное подкрепление — это подкрепление, возникающее в результате прекращения продолжающегося — обычно аверсивного — состояния. Назовем ли мы тогда аверсивное состояние негативным подкреплением или назовем его карателем? В народном употреблении нет единого мнения по этому вопросу, но в специальной литературе предъявление болевого раздражителя обозначается наказанием, а не отрицательным подкреплением.

    Одна группа специалистов, которая часто использует термин «вознаграждение», а не термин «подкрепление», включает тех, кто изучает животных, обученных нажимать на рычаг для прямой электрической стимуляции мозга.В этом случае стимуляция имеет подкрепляющий эффект, зависящий от памяти, но также и независимый от памяти мгновенный «затравочный» эффект. Эффект прайминга заряжает животное энергией и ненадолго увеличивает вероятность повторения заслужившей его реакции. Этот эффект не сохраняется в памяти. Эффективность прайминга снижается в течение десятков секунд, тогда как подкрепляющие (постпробные) эффекты стимуляции сохраняются в течение нескольких дней (Gallistel et al. , 1974). Подкрепляющий эффект послепробного подкрепления находит свое отражение в долговременной памяти, в то время как праймирующий эффект допробного предъявления той же стимуляции — нет.Поскольку животное обычно отвечает на стимуляцию 50-100 раз в минуту, эффект прайминга каждой стимуляции в этих исследованиях весьма значителен. По этой причине стимуляцию часто называют «вознаграждением за стимуляцию мозга» — фразой, которая не различает начальные и подкрепляющие действия, которые совместно определяют скорость реакции животного (Wise, 1989). Тот факт, что физиологические психологи склонны отдавать предпочтение термину «вознаграждение», в то время как поведенческие фармакологи предпочитают термин «подкрепление» (несмотря на тот факт, что самостоятельный прием лекарств, таких как самостоятельная стимуляция мозга, оказывает как праймирующее, так и подкрепляющее действие: Pickens and Harris, 1968). усиливает неуверенность неспециалистов в отношении того, какой термин следует предпочесть.

    Субъективные корреляты

    Хотя положительные подкрепления часто связаны с сознательным удовольствием, неясно, обязательно ли это так. Также неясно, нужно ли ассоциировать отрицательное подкрепление с осознанной болью или дистрессом. Неясно, имеет ли подкрепление необходимые субъективные корреляты. Действительно, субъективные оценки двух наборов подкрепляющих стимулов не обязательно предсказывают, какой набор субъект будет нажимать на рычаг, чтобы просмотреть (Aharon et al., 2001).Субъекты-люди сообщают, что субъективное удовольствие от инъекций героина или кокаина резко снижается при повторном употреблении наркотиков, однако инъекции по-прежнему сильно контролируют их поведение, связанное с поиском наркотиков. Возможно, что нет никакого сознательного коррелята фундаментального процесса подкрепления, и что удовольствие (или боль) сообщается просто как догадка субъекта о том, что повлияло на его поведение. Например, исследования на людях субъективных коррелятов мотивации и подкрепления, а также попытки смоделировать субъективные состояния у животных привели к выводу, что желание стимула и симпатия к стимулу не обязательно являются сознательными переживаниями (Berridge and Winkielman, 2003).

    Ссылки

    Aharon I, Etcoff N, Ariely D, Chabris CF, O’Connor E, Breiter HC (2001) Красивые лица имеют переменную ценность вознаграждения: фМРТ и поведенческие данные. Нейрон 32: 537-551.

    Берридж К.С., Винкельман П. (2003) Что такое бессознательная эмоция? (Случай неосознанной «приязни»). Познание и эмоции 17:181-211.

    Берридж К.С., Робинсон Т.Е. (2003) Награда за разбор. Тренды Нейроси. 26(9):507-13. Обзор. Опечатка в: Trends Neurosci. 26(11):581.

    Cannon CM, Palmiter RD (2003) Награда без дофамина.Журнал неврологии 23:10827-10831.

    Фрид В. Дж., Мендельсон Дж. (1974) Лизание воздуха: Крысы, испытывающие жажду, предпочитают теплый сухой воздушный поток теплому влажному воздушному потоку. Физиология и поведение 12: 557-561.

    Gallistel CR, Stellar JR, Bubis E (1974) Параметрический анализ вознаграждения за стимуляцию мозга у крыс: I. Переходный процесс и процесс, содержащий память. Журнал сравнительной и физиологической психологии 87: 848-859.

    Галлистел К.Р., Шизгал П., Йоманс Дж. (1981) Портрет субстрата для самостимуляции.Психологический обзор 88: 228-273.

    Гликман С.Е., Шифф Б.Б. (1967) Биологическая теория подкрепления. Психологический обзор 74:81-109.

    Harlow HF (1953) Мыши, обезьяны, люди и мотивы. Психологический обзор 60:23-32.

    Hull CL (1943) Принципы поведения. Нью-Йорк: Appleton-Century-Crofts.

    Хьюстон Дж. П., Мондадори С., Васер П. Г. (1974) Облегчение обучения за счет вознаграждения за процессы памяти после проб. Опыт 30:1038-1040.

    Кандель Э.Р. (2001) Молекулярная биология хранения памяти: диалог между генами и синапсами.Наука 294:1030-1038.

    Landauer TK (1969) Армирование как укрепление. Психологический обзор 76:82-96.

    Мессье С., Уайт Н.М. (1984) Условные и неусловные действия подкрепителей сахарозы и сахарина: влияние на вкусовые предпочтения и память. Физиология и поведение 32:195-203.

    Олдс Дж., Милнер П.М. (1954) Положительное подкрепление, вызываемое электрической стимуляцией области перегородки и других областей мозга крысы. Журнал сравнительной и физиологической психологии 47: 419-427.

    Павлов И.П. (1928) Лекции по условным рефлексам. Нью-Йорк: Международные издатели.

    Pickens R, Harris WC (1968) Самостоятельный прием d-амфетамина крысами. Психофармакология 12:158-163.

    Робинсон С., Сандстром С.М., Дененберг В.Х., Палмитер Р.Д. (2005) Определение того, регулирует ли дофамин симпатию, желание и/или изучение вознаграждений. Поведенческая неврология 119:5-15.

    Шеффилд Ф.Д., Роби Т.Б. (1950) Поощрительная ценность некалорийного сладкого вкуса.Журнал сравнительной и физиологической психологии 43: 471-481.

    Скиннер Б.Ф. (1933) Скорость установления дискриминации. Журнал общей психологии 9: 302-350.

    Скиннер Б.Ф. (1937) Два типа условного рефлекса: ответ Конорскому и Миллеру. Журнал общей психологии 16: 272-279.

    Скиннер Б.Ф. (1938) Поведение организмов. Нью-Йорк: Appleton-Century-Crofts.

    Торндайк Э.Л. (1898 г.) Интеллект животных: экспериментальное исследование ассоциативных процессов у животных. Психологические монографии 8:1-109.

    Торндайк Э.Л. (1911) Интеллект животных. Нью-Йорк: Макмиллан.

    Торндайк Э.Л. (1933) Теория действия на него последствий соединения. Психологический обзор 40:434-439.

    Белый NM (1989) Награда или поощрение: в чем разница? Neurosci Biobehav Откр. 13:181-186.

    Уайт Н.М. (1996) Наркотики, вызывающие привыкание, как подкрепление: множественные частичные действия на системы памяти. Склонность 91:921-949.

    White NM, Legree P (1984) Влияние послетренировочного воздействия аверсивного стимула на запоминание.Физиологическая психология 12: 233-236.

    Мудрый Р.А. (1989) Мозг и награда. В: Нейрофармакологическая основа вознаграждения (Либман Дж. М., Купер С. Дж., Ред.), стр. 377–424. Оксфорд: Издательство Оксфордского университета.

    Мудрый Р.А. (2002) Схема вознаграждения мозга: понимание неощутимых стимулов. Нейрон 36: 229-240.

    Мудрый Р.А. (2004) Дофамин, обучение и мотивация. Nature Reviews Neuroscience 5: 483-494.

    Внутренние ссылки

    • Говард Эйхенбаум (2008) Память.Scholarpedia, 3 (3): 1747.
    • Вольфрам Шульц (2007) Награда. Scholarpedia, 2 (3): 1652.

    Внешние ссылки

    См. также

    Классическое обусловливание, оперантное обусловливание, обучение с подкреплением, вознаграждение, сигналы вознаграждения

    Подкрепление — Scholarpedia

    Деятельность после публикации

    Куратор: Рой Уайз

    Подкрепление — термин, используемый теоретиками обучения для описания основного процесса ассоциативного обучения.

    История

    Термин подкрепление был введен Павловым в 1903 г. для обозначения усиления связи между безусловным и условным раздражителем, возникающего при их совместном предъявлении. Если ассоциацию периодически не «подкреплять» таким спариванием, то эффективность условного раздражителя падает: условная реакция подвергается угасанию . Для Павлова потенциальным подкреплением был любой безусловный раздражитель, например еда или дуновение воздуха в глаз; сочетание такого раздражителя с нейтральным стимулом составляло подкрепление.Термин обозначал для Павлова усиление (и установление) связи между условным раздражителем и его безусловным исходным раздражителем (Павлов, 1928).

    Термин «подкрепление» в настоящее время используется больше в отношении обучения в ответ, чем в отношении обучения стимулом. Торндайк впервые представил концепцию подкрепления реакции, предположив, что реакции, за которыми «вплотную следует удовлетворение», будут «более прочно связаны с ситуацией, так что, когда она повторяется, вероятность их повторения будет выше.В этом заключается суть Торндайка (Thorndike, 1911) Закона Эффекта , более формальной формулировки «впечатывания» связей стимул-реакция, которую он ввел десятилетием ранее (Thorndike, 1898). В то время как Торндайк обсуждал основное понятие подкрепления, только в 1933 году Торндайк (Thorndike, 1933) и Скиннер (Skinner, 1933) приняли термин подкрепления Павлова для обозначения усиления ассоциаций стимул-реакция.

    Хотя Скиннер изначально думал об инструментальном поведении и использовал термин подкрепление в рамках павловского обусловливания, вскоре он (Skinner, 1937) пришел к выводу, что стимул (павловское) и ответное («оперантное» или «инструментальное») научение включают различные принципы и требуют различных рамок.Он пришел к отрицанию того, что то, что мы считаем «целенаправленным» поведением, изначально вызывается внешним стимулом, и вместо этого утверждал, что первоначальные действия, которые впоследствии формируются в инструментальное поведение, излучаются организмом случайным образом, так же как случайным образом испускаются частицы. радиоактивной молекулой. Он переименовал то, что до сих пор называлось «реакцией», назвав его «оперантом», но теперь этот термин включал контролирующий стимул в так называемую трехкомпонентную контингентность : подкрепление усиливает реакцию в присутствии контролирующего фактора. или «различительный» стимул.Его новая формулировка звучала так: «Если за появлением операнта следует предъявление подкрепляющего стимула, сила увеличивается» (Skinner, 1938), стр. 21. Одна проблема с формулировкой Скиннера заключается в том, что он не уточняет в своем формальном заявлении , что это такое, что усиливается. В другом месте он указывает, что «оперант» усилен. Под этим он подразумевает, что его частота увеличилась.

    • Для Павлова была усилена ассоциация между двумя стимулами (обучение S-S).
    • Для Торндайка была усилена связь между стимулом и реакцией (обучение S-R).
    • Для Скиннера нет отношений, которые нужно укреплять; нет стимула для участия в ассоциации. Есть только оперант, привязанный только вероятностно, а не каузально к какому-либо предшествующему событию, с которым он может быть связан.

    Однако через несколько страниц после определения интересующего поведения как «операнта» Скиннер возвращается к общепринятому термину «отклик»:

    «В первой главе указывалось, что существует два типа условного рефлекса, определяемые в зависимости от того, коррелирует ли подкрепляющий стимул с реакцией» (Скиннер, 1938), стр. 62.

    В третьей и последующих главах именно «ответы» или «ответы в час» появляются на ординатах его графиков. Просто заявив, что оперант представляет собой поведенческую эмиссию, а не реакцию на вызывающий стимул, Скиннер продолжает предполагать, что животное усваивает взаимосвязь между своим поведением и его последствиями, форма обучения, обозначенная как «реакция-результат». RO) обучение более поздних работников. Таким образом, в рамках скиннеровской концепции усваивается и «подкрепляется» связь между реакцией и ее результатом.”

    Механизмы

    Первая великая теория подкрепления заключалась в том, что оно отпечатывается в памяти, уменьшая физиологические потребности или дисбаланс (Hull, 1943). Это понятие было привлекательным, поскольку оно говорило об очевидном факте, что обучение является механизмом, с помощью которого высшие животные могут удовлетворять свои потребности, несмотря на изменения окружающей среды, которые бросают вызов механизму инстинктов. Однако это было близоруко, поскольку имело дело только с научением в ответ, а не с научением по стимулу, для которого впервые был использован этот термин.Даже в случае ответного обучения вскоре стало ясно, что снижение потребности не является необходимым условием для подкрепления. Наиболее показательной была демонстрация того, что крысы научились работать с подсластителями, не имеющими питательной ценности (Шеффилд и Роби, 1950), или с прямой электрической стимуляцией определенных проводящих путей мозга (Олдс и Милнер, 1954). Испытываемые жаждой крысы навязчиво облизывают воздушный поток, который испаряет слюну и еще больше обезвоживает животное (Freed and Mendelson, 1974). В самом деле, поведение животных изобилует примерами подкрепления, не снижающего явной физиологической потребности (Harlow, 1953).

    Теории подкрепления, которые постулируют физиологические механизмы, делятся на две категории: одна пытается охарактеризовать анатомический субстрат (Glickman and Schiff, 1967; Gallistel et al. , 1981; Wise, 2002: см. для характеристики критических нейрофизиологических или нейрохимических явлений. Акцент на критических событиях сосредоточен на понятии консолидации памяти; штамповка или усиление памяти и консолидация памяти концептуально неразличимы (Landauer, 1969).

    Доказательства того, что поощрения усиливают консолидацию памяти, получены в исследованиях, в которых поощрение вводится после несвязанного эпизода тренировки. Демонстрация прототипа включала пошаговую задачу избегания; животные, которым был дан доступ к пище после тренировочных испытаний, демонстрировали большее сохранение обучения избеганию, чем животные, которым не давали немедленную пищу (Huston et al., 1974). Так же,

    • Электрошок после пробы может усилить консолидацию памяти (White and Legree, 1984).
    • Прием сахарозы после испытания также очень эффективен;
    • после испытания сахарина меньше, несмотря на сравнение изогедонических концентраций (Messier and White, 1984).

    Клеточная основа консолидации памяти является областью активных исследований и гипотез. Ряд доказательств подтверждает, что дофамин важен для инструментального обучения с помощью пищи, стимуляции мозга и подкрепления лекарствами (Wise, 2004). Более того, выброс дофамина после пробы может усилить консолидацию памяти (White, 1996).Наконец, дофамин, по-видимому, играет важную роль в долговременной потенциации и длительной депрессии у млекопитающих, моделях обучения и памяти на клеточном уровне (Wise, 2004), точно так же, как серотонин играет такую ​​роль в аплизии (Kandel, 2001). . Однако дофамин не играет абсолютно существенной роли. В то время как крысы, получавшие антагонисты дофамина, ведут себя так, как будто еда, стимуляция мозга и психомоторные стимуляторы, вызывающие привыкание, больше не подкрепляют, нокаутированные мыши, у которых отсутствует дофамин с рождения, могут обучаться вкусовым предпочтениям (Cannon and Palmiter, 2003), и, если им дают кофеин, пища вознаграждается. Привычки реакции Т-образного лабиринта (Robinson et al., 2005). Таким образом, другие системы способны взять на себя эти функции у мышей, рожденных с дефицитом дофамина.

    Отличие от «вознаграждения»

    Различие между понятиями поощрения и вознаграждения затруднено из-за допущений здравого смысла, часто связанных с последним. Многие ученые используют термин «подкрепление» и избегают термина «вознаграждение» из соображений точности и объективности, в то время как другие ученые, также во имя точности, предпочитают использовать термин «вознаграждение» (Wise, 1989).

    Наиболее широко распространенное различие заключается в том, что вознаграждение представляет собой положительное подкрепление , объекты или события, к которым приближаются, а от которых не отказываются, в то время как подкрепление не обязательно. Связанная с этим коннотация заключается в том, что вознаграждение часто считается психологически гедонистическим, тогда как подкрепление не обязательно должно быть таковым. Термин «вознаграждение» с этой точки зрения является синонимом фразы «положительное подкрепление» (White, 1989). Класс подкрепления включает в себя отрицательных подкрепления , фраза со своими определениями. Отрицательное подкрепление — это подкрепление, возникающее в результате прекращения продолжающегося — обычно аверсивного — состояния. Назовем ли мы тогда аверсивное состояние негативным подкреплением или назовем его карателем? В народном употреблении нет единого мнения по этому вопросу, но в специальной литературе предъявление болевого раздражителя обозначается наказанием, а не отрицательным подкреплением.

    Одна группа специалистов, которая часто использует термин «вознаграждение», а не термин «подкрепление», включает тех, кто изучает животных, обученных нажимать на рычаг для прямой электрической стимуляции мозга.В этом случае стимуляция имеет подкрепляющий эффект, зависящий от памяти, но также и независимый от памяти мгновенный «затравочный» эффект. Эффект прайминга заряжает животное энергией и ненадолго увеличивает вероятность повторения заслужившей его реакции. Этот эффект не сохраняется в памяти. Эффективность прайминга снижается в течение десятков секунд, тогда как подкрепляющие (постпробные) эффекты стимуляции сохраняются в течение нескольких дней (Gallistel et al. , 1974). Подкрепляющий эффект послепробного подкрепления находит свое отражение в долговременной памяти, в то время как праймирующий эффект допробного предъявления той же стимуляции — нет.Поскольку животное обычно отвечает на стимуляцию 50-100 раз в минуту, эффект прайминга каждой стимуляции в этих исследованиях весьма значителен. По этой причине стимуляцию часто называют «вознаграждением за стимуляцию мозга» — фразой, которая не различает начальные и подкрепляющие действия, которые совместно определяют скорость реакции животного (Wise, 1989). Тот факт, что физиологические психологи склонны отдавать предпочтение термину «вознаграждение», в то время как поведенческие фармакологи предпочитают термин «подкрепление» (несмотря на тот факт, что самостоятельный прием лекарств, таких как самостоятельная стимуляция мозга, оказывает как праймирующее, так и подкрепляющее действие: Pickens and Harris, 1968). усиливает неуверенность неспециалистов в отношении того, какой термин следует предпочесть.

    Субъективные корреляты

    Хотя положительные подкрепления часто связаны с сознательным удовольствием, неясно, обязательно ли это так. Также неясно, нужно ли ассоциировать отрицательное подкрепление с осознанной болью или дистрессом. Неясно, имеет ли подкрепление необходимые субъективные корреляты. Действительно, субъективные оценки двух наборов подкрепляющих стимулов не обязательно предсказывают, какой набор субъект будет нажимать на рычаг, чтобы просмотреть (Aharon et al., 2001).Субъекты-люди сообщают, что субъективное удовольствие от инъекций героина или кокаина резко снижается при повторном употреблении наркотиков, однако инъекции по-прежнему сильно контролируют их поведение, связанное с поиском наркотиков. Возможно, что нет никакого сознательного коррелята фундаментального процесса подкрепления, и что удовольствие (или боль) сообщается просто как догадка субъекта о том, что повлияло на его поведение. Например, исследования на людях субъективных коррелятов мотивации и подкрепления, а также попытки смоделировать субъективные состояния у животных привели к выводу, что желание стимула и симпатия к стимулу не обязательно являются сознательными переживаниями (Berridge and Winkielman, 2003).

    Ссылки

    Aharon I, Etcoff N, Ariely D, Chabris CF, O’Connor E, Breiter HC (2001) Красивые лица имеют переменную ценность вознаграждения: фМРТ и поведенческие данные. Нейрон 32: 537-551.

    Берридж К.С., Винкельман П. (2003) Что такое бессознательная эмоция? (Случай неосознанной «приязни»). Познание и эмоции 17:181-211.

    Берридж К.С., Робинсон Т.Е. (2003) Награда за разбор. Тренды Нейроси. 26(9):507-13. Обзор. Опечатка в: Trends Neurosci. 26(11):581.

    Cannon CM, Palmiter RD (2003) Награда без дофамина.Журнал неврологии 23:10827-10831.

    Фрид В. Дж., Мендельсон Дж. (1974) Лизание воздуха: Крысы, испытывающие жажду, предпочитают теплый сухой воздушный поток теплому влажному воздушному потоку. Физиология и поведение 12: 557-561.

    Gallistel CR, Stellar JR, Bubis E (1974) Параметрический анализ вознаграждения за стимуляцию мозга у крыс: I. Переходный процесс и процесс, содержащий память. Журнал сравнительной и физиологической психологии 87: 848-859.

    Галлистел К.Р., Шизгал П., Йоманс Дж. (1981) Портрет субстрата для самостимуляции.Психологический обзор 88: 228-273.

    Гликман С.Е., Шифф Б.Б. (1967) Биологическая теория подкрепления. Психологический обзор 74:81-109.

    Harlow HF (1953) Мыши, обезьяны, люди и мотивы. Психологический обзор 60:23-32.

    Hull CL (1943) Принципы поведения. Нью-Йорк: Appleton-Century-Crofts.

    Хьюстон Дж. П., Мондадори С., Васер П. Г. (1974) Облегчение обучения за счет вознаграждения за процессы памяти после проб. Опыт 30:1038-1040.

    Кандель Э.Р. (2001) Молекулярная биология хранения памяти: диалог между генами и синапсами.Наука 294:1030-1038.

    Landauer TK (1969) Армирование как укрепление. Психологический обзор 76:82-96.

    Мессье С., Уайт Н.М. (1984) Условные и неусловные действия подкрепителей сахарозы и сахарина: влияние на вкусовые предпочтения и память. Физиология и поведение 32:195-203.

    Олдс Дж., Милнер П.М. (1954) Положительное подкрепление, вызываемое электрической стимуляцией области перегородки и других областей мозга крысы. Журнал сравнительной и физиологической психологии 47: 419-427.

    Павлов И.П. (1928) Лекции по условным рефлексам. Нью-Йорк: Международные издатели.

    Pickens R, Harris WC (1968) Самостоятельный прием d-амфетамина крысами. Психофармакология 12:158-163.

    Робинсон С., Сандстром С.М., Дененберг В.Х., Палмитер Р.Д. (2005) Определение того, регулирует ли дофамин симпатию, желание и/или изучение вознаграждений. Поведенческая неврология 119:5-15.

    Шеффилд Ф.Д., Роби Т.Б. (1950) Поощрительная ценность некалорийного сладкого вкуса.Журнал сравнительной и физиологической психологии 43: 471-481.

    Скиннер Б.Ф. (1933) Скорость установления дискриминации. Журнал общей психологии 9: 302-350.

    Скиннер Б.Ф. (1937) Два типа условного рефлекса: ответ Конорскому и Миллеру. Журнал общей психологии 16: 272-279.

    Скиннер Б.Ф. (1938) Поведение организмов. Нью-Йорк: Appleton-Century-Crofts.

    Торндайк Э.Л. (1898 г.) Интеллект животных: экспериментальное исследование ассоциативных процессов у животных. Психологические монографии 8:1-109.

    Торндайк Э.Л. (1911) Интеллект животных. Нью-Йорк: Макмиллан.

    Торндайк Э.Л. (1933) Теория действия на него последствий соединения. Психологический обзор 40:434-439.

    Белый NM (1989) Награда или поощрение: в чем разница? Neurosci Biobehav Откр. 13:181-186.

    Уайт Н.М. (1996) Наркотики, вызывающие привыкание, как подкрепление: множественные частичные действия на системы памяти. Склонность 91:921-949.

    White NM, Legree P (1984) Влияние послетренировочного воздействия аверсивного стимула на запоминание.Физиологическая психология 12: 233-236.

    Мудрый Р.А. (1989) Мозг и награда. В: Нейрофармакологическая основа вознаграждения (Либман Дж. М., Купер С. Дж., Ред.), стр. 377–424. Оксфорд: Издательство Оксфордского университета.

    Мудрый Р.А. (2002) Схема вознаграждения мозга: понимание неощутимых стимулов. Нейрон 36: 229-240.

    Мудрый Р.А. (2004) Дофамин, обучение и мотивация. Nature Reviews Neuroscience 5: 483-494.

    Внутренние ссылки

    • Говард Эйхенбаум (2008) Память.Scholarpedia, 3 (3): 1747.
    • Вольфрам Шульц (2007) Награда. Scholarpedia, 2 (3): 1652.

    Внешние ссылки

    См. также

    Классическое обусловливание, оперантное обусловливание, обучение с подкреплением, вознаграждение, сигналы вознаграждения

    Подкрепление — Scholarpedia

    Деятельность после публикации

    Куратор: Рой Уайз

    Подкрепление — термин, используемый теоретиками обучения для описания основного процесса ассоциативного обучения.

    История

    Термин подкрепление был введен Павловым в 1903 г. для обозначения усиления связи между безусловным и условным раздражителем, возникающего при их совместном предъявлении. Если ассоциацию периодически не «подкреплять» таким спариванием, то эффективность условного раздражителя падает: условная реакция подвергается угасанию . Для Павлова потенциальным подкреплением был любой безусловный раздражитель, например еда или дуновение воздуха в глаз; сочетание такого раздражителя с нейтральным стимулом составляло подкрепление.Термин обозначал для Павлова усиление (и установление) связи между условным раздражителем и его безусловным исходным раздражителем (Павлов, 1928).

    Термин «подкрепление» в настоящее время используется больше в отношении обучения в ответ, чем в отношении обучения стимулом. Торндайк впервые представил концепцию подкрепления реакции, предположив, что реакции, за которыми «вплотную следует удовлетворение», будут «более прочно связаны с ситуацией, так что, когда она повторяется, вероятность их повторения будет выше.В этом заключается суть Торндайка (Thorndike, 1911) Закона Эффекта , более формальной формулировки «впечатывания» связей стимул-реакция, которую он ввел десятилетием ранее (Thorndike, 1898). В то время как Торндайк обсуждал основное понятие подкрепления, только в 1933 году Торндайк (Thorndike, 1933) и Скиннер (Skinner, 1933) приняли термин подкрепления Павлова для обозначения усиления ассоциаций стимул-реакция.

    Хотя Скиннер изначально думал об инструментальном поведении и использовал термин подкрепление в рамках павловского обусловливания, вскоре он (Skinner, 1937) пришел к выводу, что стимул (павловское) и ответное («оперантное» или «инструментальное») научение включают различные принципы и требуют различных рамок.Он пришел к отрицанию того, что то, что мы считаем «целенаправленным» поведением, изначально вызывается внешним стимулом, и вместо этого утверждал, что первоначальные действия, которые впоследствии формируются в инструментальное поведение, излучаются организмом случайным образом, так же как случайным образом испускаются частицы. радиоактивной молекулой. Он переименовал то, что до сих пор называлось «реакцией», назвав его «оперантом», но теперь этот термин включал контролирующий стимул в так называемую трехкомпонентную контингентность : подкрепление усиливает реакцию в присутствии контролирующего фактора. или «различительный» стимул.Его новая формулировка звучала так: «Если за появлением операнта следует предъявление подкрепляющего стимула, сила увеличивается» (Skinner, 1938), стр. 21. Одна проблема с формулировкой Скиннера заключается в том, что он не уточняет в своем формальном заявлении , что это такое, что усиливается. В другом месте он указывает, что «оперант» усилен. Под этим он подразумевает, что его частота увеличилась.

    • Для Павлова была усилена ассоциация между двумя стимулами (обучение S-S).
    • Для Торндайка была усилена связь между стимулом и реакцией (обучение S-R).
    • Для Скиннера нет отношений, которые нужно укреплять; нет стимула для участия в ассоциации. Есть только оперант, привязанный только вероятностно, а не каузально к какому-либо предшествующему событию, с которым он может быть связан.

    Однако через несколько страниц после определения интересующего поведения как «операнта» Скиннер возвращается к общепринятому термину «отклик»:

    «В первой главе указывалось, что существует два типа условного рефлекса, определяемые в зависимости от того, коррелирует ли подкрепляющий стимул с реакцией» (Скиннер, 1938), стр. 62.

    В третьей и последующих главах именно «ответы» или «ответы в час» появляются на ординатах его графиков. Просто заявив, что оперант представляет собой поведенческую эмиссию, а не реакцию на вызывающий стимул, Скиннер продолжает предполагать, что животное усваивает взаимосвязь между своим поведением и его последствиями, форма обучения, обозначенная как «реакция-результат». RO) обучение более поздних работников. Таким образом, в рамках скиннеровской концепции усваивается и «подкрепляется» связь между реакцией и ее результатом.”

    Механизмы

    Первая великая теория подкрепления заключалась в том, что оно отпечатывается в памяти, уменьшая физиологические потребности или дисбаланс (Hull, 1943). Это понятие было привлекательным, поскольку оно говорило об очевидном факте, что обучение является механизмом, с помощью которого высшие животные могут удовлетворять свои потребности, несмотря на изменения окружающей среды, которые бросают вызов механизму инстинктов. Однако это было близоруко, поскольку имело дело только с научением в ответ, а не с научением по стимулу, для которого впервые был использован этот термин.Даже в случае ответного обучения вскоре стало ясно, что снижение потребности не является необходимым условием для подкрепления. Наиболее показательной была демонстрация того, что крысы научились работать с подсластителями, не имеющими питательной ценности (Шеффилд и Роби, 1950), или с прямой электрической стимуляцией определенных проводящих путей мозга (Олдс и Милнер, 1954). Испытываемые жаждой крысы навязчиво облизывают воздушный поток, который испаряет слюну и еще больше обезвоживает животное (Freed and Mendelson, 1974). В самом деле, поведение животных изобилует примерами подкрепления, не снижающего явной физиологической потребности (Harlow, 1953).

    Теории подкрепления, которые постулируют физиологические механизмы, делятся на две категории: одна пытается охарактеризовать анатомический субстрат (Glickman and Schiff, 1967; Gallistel et al. , 1981; Wise, 2002: см. для характеристики критических нейрофизиологических или нейрохимических явлений. Акцент на критических событиях сосредоточен на понятии консолидации памяти; штамповка или усиление памяти и консолидация памяти концептуально неразличимы (Landauer, 1969).

    Доказательства того, что поощрения усиливают консолидацию памяти, получены в исследованиях, в которых поощрение вводится после несвязанного эпизода тренировки. Демонстрация прототипа включала пошаговую задачу избегания; животные, которым был дан доступ к пище после тренировочных испытаний, демонстрировали большее сохранение обучения избеганию, чем животные, которым не давали немедленную пищу (Huston et al., 1974). Так же,

    • Электрошок после пробы может усилить консолидацию памяти (White and Legree, 1984).
    • Прием сахарозы после испытания также очень эффективен;
    • после испытания сахарина меньше, несмотря на сравнение изогедонических концентраций (Messier and White, 1984).

    Клеточная основа консолидации памяти является областью активных исследований и гипотез. Ряд доказательств подтверждает, что дофамин важен для инструментального обучения с помощью пищи, стимуляции мозга и подкрепления лекарствами (Wise, 2004). Более того, выброс дофамина после пробы может усилить консолидацию памяти (White, 1996).Наконец, дофамин, по-видимому, играет важную роль в долговременной потенциации и длительной депрессии у млекопитающих, моделях обучения и памяти на клеточном уровне (Wise, 2004), точно так же, как серотонин играет такую ​​роль в аплизии (Kandel, 2001). . Однако дофамин не играет абсолютно существенной роли. В то время как крысы, получавшие антагонисты дофамина, ведут себя так, как будто еда, стимуляция мозга и психомоторные стимуляторы, вызывающие привыкание, больше не подкрепляют, нокаутированные мыши, у которых отсутствует дофамин с рождения, могут обучаться вкусовым предпочтениям (Cannon and Palmiter, 2003), и, если им дают кофеин, пища вознаграждается. Привычки реакции Т-образного лабиринта (Robinson et al., 2005). Таким образом, другие системы способны взять на себя эти функции у мышей, рожденных с дефицитом дофамина.

    Отличие от «вознаграждения»

    Различие между понятиями поощрения и вознаграждения затруднено из-за допущений здравого смысла, часто связанных с последним. Многие ученые используют термин «подкрепление» и избегают термина «вознаграждение» из соображений точности и объективности, в то время как другие ученые, также во имя точности, предпочитают использовать термин «вознаграждение» (Wise, 1989).

    Наиболее широко распространенное различие заключается в том, что вознаграждение представляет собой положительное подкрепление , объекты или события, к которым приближаются, а от которых не отказываются, в то время как подкрепление не обязательно. Связанная с этим коннотация заключается в том, что вознаграждение часто считается психологически гедонистическим, тогда как подкрепление не обязательно должно быть таковым. Термин «вознаграждение» с этой точки зрения является синонимом фразы «положительное подкрепление» (White, 1989). Класс подкрепления включает в себя отрицательных подкрепления , фраза со своими определениями. Отрицательное подкрепление — это подкрепление, возникающее в результате прекращения продолжающегося — обычно аверсивного — состояния. Назовем ли мы тогда аверсивное состояние негативным подкреплением или назовем его карателем? В народном употреблении нет единого мнения по этому вопросу, но в специальной литературе предъявление болевого раздражителя обозначается наказанием, а не отрицательным подкреплением.

    Одна группа специалистов, которая часто использует термин «вознаграждение», а не термин «подкрепление», включает тех, кто изучает животных, обученных нажимать на рычаг для прямой электрической стимуляции мозга.В этом случае стимуляция имеет подкрепляющий эффект, зависящий от памяти, но также и независимый от памяти мгновенный «затравочный» эффект. Эффект прайминга заряжает животное энергией и ненадолго увеличивает вероятность повторения заслужившей его реакции. Этот эффект не сохраняется в памяти. Эффективность прайминга снижается в течение десятков секунд, тогда как подкрепляющие (постпробные) эффекты стимуляции сохраняются в течение нескольких дней (Gallistel et al. , 1974). Подкрепляющий эффект послепробного подкрепления находит свое отражение в долговременной памяти, в то время как праймирующий эффект допробного предъявления той же стимуляции — нет.Поскольку животное обычно отвечает на стимуляцию 50-100 раз в минуту, эффект прайминга каждой стимуляции в этих исследованиях весьма значителен. По этой причине стимуляцию часто называют «вознаграждением за стимуляцию мозга» — фразой, которая не различает начальные и подкрепляющие действия, которые совместно определяют скорость реакции животного (Wise, 1989). Тот факт, что физиологические психологи склонны отдавать предпочтение термину «вознаграждение», в то время как поведенческие фармакологи предпочитают термин «подкрепление» (несмотря на тот факт, что самостоятельный прием лекарств, таких как самостоятельная стимуляция мозга, оказывает как праймирующее, так и подкрепляющее действие: Pickens and Harris, 1968). усиливает неуверенность неспециалистов в отношении того, какой термин следует предпочесть.

    Субъективные корреляты

    Хотя положительные подкрепления часто связаны с сознательным удовольствием, неясно, обязательно ли это так. Также неясно, нужно ли ассоциировать отрицательное подкрепление с осознанной болью или дистрессом. Неясно, имеет ли подкрепление необходимые субъективные корреляты. Действительно, субъективные оценки двух наборов подкрепляющих стимулов не обязательно предсказывают, какой набор субъект будет нажимать на рычаг, чтобы просмотреть (Aharon et al., 2001).Субъекты-люди сообщают, что субъективное удовольствие от инъекций героина или кокаина резко снижается при повторном употреблении наркотиков, однако инъекции по-прежнему сильно контролируют их поведение, связанное с поиском наркотиков. Возможно, что нет никакого сознательного коррелята фундаментального процесса подкрепления, и что удовольствие (или боль) сообщается просто как догадка субъекта о том, что повлияло на его поведение. Например, исследования на людях субъективных коррелятов мотивации и подкрепления, а также попытки смоделировать субъективные состояния у животных привели к выводу, что желание стимула и симпатия к стимулу не обязательно являются сознательными переживаниями (Berridge and Winkielman, 2003).

    Ссылки

    Aharon I, Etcoff N, Ariely D, Chabris CF, O’Connor E, Breiter HC (2001) Красивые лица имеют переменную ценность вознаграждения: фМРТ и поведенческие данные. Нейрон 32: 537-551.

    Берридж К.С., Винкельман П. (2003) Что такое бессознательная эмоция? (Случай неосознанной «приязни»). Познание и эмоции 17:181-211.

    Берридж К.С., Робинсон Т.Е. (2003) Награда за разбор. Тренды Нейроси. 26(9):507-13. Обзор. Опечатка в: Trends Neurosci. 26(11):581.

    Cannon CM, Palmiter RD (2003) Награда без дофамина.Журнал неврологии 23:10827-10831.

    Фрид В. Дж., Мендельсон Дж. (1974) Лизание воздуха: Крысы, испытывающие жажду, предпочитают теплый сухой воздушный поток теплому влажному воздушному потоку. Физиология и поведение 12: 557-561.

    Gallistel CR, Stellar JR, Bubis E (1974) Параметрический анализ вознаграждения за стимуляцию мозга у крыс: I. Переходный процесс и процесс, содержащий память. Журнал сравнительной и физиологической психологии 87: 848-859.

    Галлистел К.Р., Шизгал П., Йоманс Дж. (1981) Портрет субстрата для самостимуляции.Психологический обзор 88: 228-273.

    Гликман С.Е., Шифф Б.Б. (1967) Биологическая теория подкрепления. Психологический обзор 74:81-109.

    Harlow HF (1953) Мыши, обезьяны, люди и мотивы. Психологический обзор 60:23-32.

    Hull CL (1943) Принципы поведения. Нью-Йорк: Appleton-Century-Crofts.

    Хьюстон Дж. П., Мондадори С., Васер П. Г. (1974) Облегчение обучения за счет вознаграждения за процессы памяти после проб. Опыт 30:1038-1040.

    Кандель Э.Р. (2001) Молекулярная биология хранения памяти: диалог между генами и синапсами.Наука 294:1030-1038.

    Landauer TK (1969) Армирование как укрепление. Психологический обзор 76:82-96.

    Мессье С., Уайт Н.М. (1984) Условные и неусловные действия подкрепителей сахарозы и сахарина: влияние на вкусовые предпочтения и память. Физиология и поведение 32:195-203.

    Олдс Дж., Милнер П.М. (1954) Положительное подкрепление, вызываемое электрической стимуляцией области перегородки и других областей мозга крысы. Журнал сравнительной и физиологической психологии 47: 419-427.

    Павлов И.П. (1928) Лекции по условным рефлексам. Нью-Йорк: Международные издатели.

    Pickens R, Harris WC (1968) Самостоятельный прием d-амфетамина крысами. Психофармакология 12:158-163.

    Робинсон С., Сандстром С.М., Дененберг В.Х., Палмитер Р.Д. (2005) Определение того, регулирует ли дофамин симпатию, желание и/или изучение вознаграждений. Поведенческая неврология 119:5-15.

    Шеффилд Ф.Д., Роби Т.Б. (1950) Поощрительная ценность некалорийного сладкого вкуса.Журнал сравнительной и физиологической психологии 43: 471-481.

    Скиннер Б.Ф. (1933) Скорость установления дискриминации. Журнал общей психологии 9: 302-350.

    Скиннер Б.Ф. (1937) Два типа условного рефлекса: ответ Конорскому и Миллеру. Журнал общей психологии 16: 272-279.

    Скиннер Б.Ф. (1938) Поведение организмов. Нью-Йорк: Appleton-Century-Crofts.

    Торндайк Э.Л. (1898 г.) Интеллект животных: экспериментальное исследование ассоциативных процессов у животных. Психологические монографии 8:1-109.

    Торндайк Э.Л. (1911) Интеллект животных. Нью-Йорк: Макмиллан.

    Торндайк Э.Л. (1933) Теория действия на него последствий соединения. Психологический обзор 40:434-439.

    Белый NM (1989) Награда или поощрение: в чем разница? Neurosci Biobehav Откр. 13:181-186.

    Уайт Н.М. (1996) Наркотики, вызывающие привыкание, как подкрепление: множественные частичные действия на системы памяти. Склонность 91:921-949.

    White NM, Legree P (1984) Влияние послетренировочного воздействия аверсивного стимула на запоминание.Физиологическая психология 12: 233-236.

    Мудрый Р.А. (1989) Мозг и награда. В: Нейрофармакологическая основа вознаграждения (Либман Дж. М., Купер С. Дж., Ред.), стр. 377–424. Оксфорд: Издательство Оксфордского университета.

    Мудрый Р.А. (2002) Схема вознаграждения мозга: понимание неощутимых стимулов. Нейрон 36: 229-240.

    Мудрый Р.А. (2004) Дофамин, обучение и мотивация. Nature Reviews Neuroscience 5: 483-494.

    Внутренние ссылки

    • Говард Эйхенбаум (2008) Память.Scholarpedia, 3 (3): 1747.
    • Вольфрам Шульц (2007) Награда. Scholarpedia, 2 (3): 1652.

    Внешние ссылки

    См. также

    Классическое обусловливание, оперантное обусловливание, обучение с подкреплением, вознаграждение, сигналы вознаграждения

    Подкрепление — Scholarpedia

    Деятельность после публикации

    Куратор: Рой Уайз

    Подкрепление — термин, используемый теоретиками обучения для описания основного процесса ассоциативного обучения.

    История

    Термин подкрепление был введен Павловым в 1903 г. для обозначения усиления связи между безусловным и условным раздражителем, возникающего при их совместном предъявлении. Если ассоциацию периодически не «подкреплять» таким спариванием, то эффективность условного раздражителя падает: условная реакция подвергается угасанию . Для Павлова потенциальным подкреплением был любой безусловный раздражитель, например еда или дуновение воздуха в глаз; сочетание такого раздражителя с нейтральным стимулом составляло подкрепление.Термин обозначал для Павлова усиление (и установление) связи между условным раздражителем и его безусловным исходным раздражителем (Павлов, 1928).

    Термин «подкрепление» в настоящее время используется больше в отношении обучения в ответ, чем в отношении обучения стимулом. Торндайк впервые представил концепцию подкрепления реакции, предположив, что реакции, за которыми «вплотную следует удовлетворение», будут «более прочно связаны с ситуацией, так что, когда она повторяется, вероятность их повторения будет выше.В этом заключается суть Торндайка (Thorndike, 1911) Закона Эффекта , более формальной формулировки «впечатывания» связей стимул-реакция, которую он ввел десятилетием ранее (Thorndike, 1898). В то время как Торндайк обсуждал основное понятие подкрепления, только в 1933 году Торндайк (Thorndike, 1933) и Скиннер (Skinner, 1933) приняли термин подкрепления Павлова для обозначения усиления ассоциаций стимул-реакция.

    Хотя Скиннер изначально думал об инструментальном поведении и использовал термин подкрепление в рамках павловского обусловливания, вскоре он (Skinner, 1937) пришел к выводу, что стимул (павловское) и ответное («оперантное» или «инструментальное») научение включают различные принципы и требуют различных рамок.Он пришел к отрицанию того, что то, что мы считаем «целенаправленным» поведением, изначально вызывается внешним стимулом, и вместо этого утверждал, что первоначальные действия, которые впоследствии формируются в инструментальное поведение, излучаются организмом случайным образом, так же как случайным образом испускаются частицы. радиоактивной молекулой. Он переименовал то, что до сих пор называлось «реакцией», назвав его «оперантом», но теперь этот термин включал контролирующий стимул в так называемую трехкомпонентную контингентность : подкрепление усиливает реакцию в присутствии контролирующего фактора. или «различительный» стимул.Его новая формулировка звучала так: «Если за появлением операнта следует предъявление подкрепляющего стимула, сила увеличивается» (Skinner, 1938), стр. 21. Одна проблема с формулировкой Скиннера заключается в том, что он не уточняет в своем формальном заявлении , что это такое, что усиливается. В другом месте он указывает, что «оперант» усилен. Под этим он подразумевает, что его частота увеличилась.

    • Для Павлова была усилена ассоциация между двумя стимулами (обучение S-S).
    • Для Торндайка была усилена связь между стимулом и реакцией (обучение S-R).
    • Для Скиннера нет отношений, которые нужно укреплять; нет стимула для участия в ассоциации. Есть только оперант, привязанный только вероятностно, а не каузально к какому-либо предшествующему событию, с которым он может быть связан.

    Однако через несколько страниц после определения интересующего поведения как «операнта» Скиннер возвращается к общепринятому термину «отклик»:

    «В первой главе указывалось, что существует два типа условного рефлекса, определяемые в зависимости от того, коррелирует ли подкрепляющий стимул с реакцией» (Скиннер, 1938), стр. 62.

    В третьей и последующих главах именно «ответы» или «ответы в час» появляются на ординатах его графиков. Просто заявив, что оперант представляет собой поведенческую эмиссию, а не реакцию на вызывающий стимул, Скиннер продолжает предполагать, что животное усваивает взаимосвязь между своим поведением и его последствиями, форма обучения, обозначенная как «реакция-результат». RO) обучение более поздних работников. Таким образом, в рамках скиннеровской концепции усваивается и «подкрепляется» связь между реакцией и ее результатом.”

    Механизмы

    Первая великая теория подкрепления заключалась в том, что оно отпечатывается в памяти, уменьшая физиологические потребности или дисбаланс (Hull, 1943). Это понятие было привлекательным, поскольку оно говорило об очевидном факте, что обучение является механизмом, с помощью которого высшие животные могут удовлетворять свои потребности, несмотря на изменения окружающей среды, которые бросают вызов механизму инстинктов. Однако это было близоруко, поскольку имело дело только с научением в ответ, а не с научением по стимулу, для которого впервые был использован этот термин.Даже в случае ответного обучения вскоре стало ясно, что снижение потребности не является необходимым условием для подкрепления. Наиболее показательной была демонстрация того, что крысы научились работать с подсластителями, не имеющими питательной ценности (Шеффилд и Роби, 1950), или с прямой электрической стимуляцией определенных проводящих путей мозга (Олдс и Милнер, 1954). Испытываемые жаждой крысы навязчиво облизывают воздушный поток, который испаряет слюну и еще больше обезвоживает животное (Freed and Mendelson, 1974). В самом деле, поведение животных изобилует примерами подкрепления, не снижающего явной физиологической потребности (Harlow, 1953).

    Теории подкрепления, которые постулируют физиологические механизмы, делятся на две категории: одна пытается охарактеризовать анатомический субстрат (Glickman and Schiff, 1967; Gallistel et al. , 1981; Wise, 2002: см. для характеристики критических нейрофизиологических или нейрохимических явлений. Акцент на критических событиях сосредоточен на понятии консолидации памяти; штамповка или усиление памяти и консолидация памяти концептуально неразличимы (Landauer, 1969).

    Доказательства того, что поощрения усиливают консолидацию памяти, получены в исследованиях, в которых поощрение вводится после несвязанного эпизода тренировки. Демонстрация прототипа включала пошаговую задачу избегания; животные, которым был дан доступ к пище после тренировочных испытаний, демонстрировали большее сохранение обучения избеганию, чем животные, которым не давали немедленную пищу (Huston et al., 1974). Так же,

    • Электрошок после пробы может усилить консолидацию памяти (White and Legree, 1984).
    • Прием сахарозы после испытания также очень эффективен;
    • после испытания сахарина меньше, несмотря на сравнение изогедонических концентраций (Messier and White, 1984).

    Клеточная основа консолидации памяти является областью активных исследований и гипотез. Ряд доказательств подтверждает, что дофамин важен для инструментального обучения с помощью пищи, стимуляции мозга и подкрепления лекарствами (Wise, 2004). Более того, выброс дофамина после пробы может усилить консолидацию памяти (White, 1996).Наконец, дофамин, по-видимому, играет важную роль в долговременной потенциации и длительной депрессии у млекопитающих, моделях обучения и памяти на клеточном уровне (Wise, 2004), точно так же, как серотонин играет такую ​​роль в аплизии (Kandel, 2001). . Однако дофамин не играет абсолютно существенной роли. В то время как крысы, получавшие антагонисты дофамина, ведут себя так, как будто еда, стимуляция мозга и психомоторные стимуляторы, вызывающие привыкание, больше не подкрепляют, нокаутированные мыши, у которых отсутствует дофамин с рождения, могут обучаться вкусовым предпочтениям (Cannon and Palmiter, 2003), и, если им дают кофеин, пища вознаграждается. Привычки реакции Т-образного лабиринта (Robinson et al., 2005). Таким образом, другие системы способны взять на себя эти функции у мышей, рожденных с дефицитом дофамина.

    Отличие от «вознаграждения»

    Различие между понятиями поощрения и вознаграждения затруднено из-за допущений здравого смысла, часто связанных с последним. Многие ученые используют термин «подкрепление» и избегают термина «вознаграждение» из соображений точности и объективности, в то время как другие ученые, также во имя точности, предпочитают использовать термин «вознаграждение» (Wise, 1989).

    Наиболее широко распространенное различие заключается в том, что вознаграждение представляет собой положительное подкрепление , объекты или события, к которым приближаются, а от которых не отказываются, в то время как подкрепление не обязательно. Связанная с этим коннотация заключается в том, что вознаграждение часто считается психологически гедонистическим, тогда как подкрепление не обязательно должно быть таковым. Термин «вознаграждение» с этой точки зрения является синонимом фразы «положительное подкрепление» (White, 1989). Класс подкрепления включает в себя отрицательных подкрепления , фраза со своими определениями. Отрицательное подкрепление — это подкрепление, возникающее в результате прекращения продолжающегося — обычно аверсивного — состояния. Назовем ли мы тогда аверсивное состояние негативным подкреплением или назовем его карателем? В народном употреблении нет единого мнения по этому вопросу, но в специальной литературе предъявление болевого раздражителя обозначается наказанием, а не отрицательным подкреплением.

    Одна группа специалистов, которая часто использует термин «вознаграждение», а не термин «подкрепление», включает тех, кто изучает животных, обученных нажимать на рычаг для прямой электрической стимуляции мозга.В этом случае стимуляция имеет подкрепляющий эффект, зависящий от памяти, но также и независимый от памяти мгновенный «затравочный» эффект. Эффект прайминга заряжает животное энергией и ненадолго увеличивает вероятность повторения заслужившей его реакции. Этот эффект не сохраняется в памяти. Эффективность прайминга снижается в течение десятков секунд, тогда как подкрепляющие (постпробные) эффекты стимуляции сохраняются в течение нескольких дней (Gallistel et al. , 1974). Подкрепляющий эффект послепробного подкрепления находит свое отражение в долговременной памяти, в то время как праймирующий эффект допробного предъявления той же стимуляции — нет.Поскольку животное обычно отвечает на стимуляцию 50-100 раз в минуту, эффект прайминга каждой стимуляции в этих исследованиях весьма значителен. По этой причине стимуляцию часто называют «вознаграждением за стимуляцию мозга» — фразой, которая не различает начальные и подкрепляющие действия, которые совместно определяют скорость реакции животного (Wise, 1989). Тот факт, что физиологические психологи склонны отдавать предпочтение термину «вознаграждение», в то время как поведенческие фармакологи предпочитают термин «подкрепление» (несмотря на тот факт, что самостоятельный прием лекарств, таких как самостоятельная стимуляция мозга, оказывает как праймирующее, так и подкрепляющее действие: Pickens and Harris, 1968). усиливает неуверенность неспециалистов в отношении того, какой термин следует предпочесть.

    Субъективные корреляты

    Хотя положительные подкрепления часто связаны с сознательным удовольствием, неясно, обязательно ли это так. Также неясно, нужно ли ассоциировать отрицательное подкрепление с осознанной болью или дистрессом. Неясно, имеет ли подкрепление необходимые субъективные корреляты. Действительно, субъективные оценки двух наборов подкрепляющих стимулов не обязательно предсказывают, какой набор субъект будет нажимать на рычаг, чтобы просмотреть (Aharon et al., 2001).Субъекты-люди сообщают, что субъективное удовольствие от инъекций героина или кокаина резко снижается при повторном употреблении наркотиков, однако инъекции по-прежнему сильно контролируют их поведение, связанное с поиском наркотиков. Возможно, что нет никакого сознательного коррелята фундаментального процесса подкрепления, и что удовольствие (или боль) сообщается просто как догадка субъекта о том, что повлияло на его поведение. Например, исследования на людях субъективных коррелятов мотивации и подкрепления, а также попытки смоделировать субъективные состояния у животных привели к выводу, что желание стимула и симпатия к стимулу не обязательно являются сознательными переживаниями (Berridge and Winkielman, 2003).

    Ссылки

    Aharon I, Etcoff N, Ariely D, Chabris CF, O’Connor E, Breiter HC (2001) Красивые лица имеют переменную ценность вознаграждения: фМРТ и поведенческие данные. Нейрон 32: 537-551.

    Берридж К.С., Винкельман П. (2003) Что такое бессознательная эмоция? (Случай неосознанной «приязни»). Познание и эмоции 17:181-211.

    Берридж К.С., Робинсон Т.Е. (2003) Награда за разбор. Тренды Нейроси. 26(9):507-13. Обзор. Опечатка в: Trends Neurosci. 26(11):581.

    Cannon CM, Palmiter RD (2003) Награда без дофамина.Журнал неврологии 23:10827-10831.

    Фрид В. Дж., Мендельсон Дж. (1974) Лизание воздуха: Крысы, испытывающие жажду, предпочитают теплый сухой воздушный поток теплому влажному воздушному потоку. Физиология и поведение 12: 557-561.

    Gallistel CR, Stellar JR, Bubis E (1974) Параметрический анализ вознаграждения за стимуляцию мозга у крыс: I. Переходный процесс и процесс, содержащий память. Журнал сравнительной и физиологической психологии 87: 848-859.

    Галлистел К.Р., Шизгал П., Йоманс Дж. (1981) Портрет субстрата для самостимуляции.Психологический обзор 88: 228-273.

    Гликман С.Е., Шифф Б.Б. (1967) Биологическая теория подкрепления. Психологический обзор 74:81-109.

    Harlow HF (1953) Мыши, обезьяны, люди и мотивы. Психологический обзор 60:23-32.

    Hull CL (1943) Принципы поведения. Нью-Йорк: Appleton-Century-Crofts.

    Хьюстон Дж. П., Мондадори С., Васер П. Г. (1974) Облегчение обучения за счет вознаграждения за процессы памяти после проб. Опыт 30:1038-1040.

    Кандель Э.Р. (2001) Молекулярная биология хранения памяти: диалог между генами и синапсами.Наука 294:1030-1038.

    Landauer TK (1969) Армирование как укрепление. Психологический обзор 76:82-96.

    Мессье С., Уайт Н.М. (1984) Условные и неусловные действия подкрепителей сахарозы и сахарина: влияние на вкусовые предпочтения и память. Физиология и поведение 32:195-203.

    Олдс Дж., Милнер П.М. (1954) Положительное подкрепление, вызываемое электрической стимуляцией области перегородки и других областей мозга крысы. Журнал сравнительной и физиологической психологии 47: 419-427.

    Павлов И.П. (1928) Лекции по условным рефлексам. Нью-Йорк: Международные издатели.

    Pickens R, Harris WC (1968) Самостоятельный прием d-амфетамина крысами. Психофармакология 12:158-163.

    Робинсон С., Сандстром С.М., Дененберг В.Х., Палмитер Р.Д. (2005) Определение того, регулирует ли дофамин симпатию, желание и/или изучение вознаграждений. Поведенческая неврология 119:5-15.

    Шеффилд Ф.Д., Роби Т.Б. (1950) Поощрительная ценность некалорийного сладкого вкуса.Журнал сравнительной и физиологической психологии 43: 471-481.

    Скиннер Б.Ф. (1933) Скорость установления дискриминации. Журнал общей психологии 9: 302-350.

    Скиннер Б.Ф. (1937) Два типа условного рефлекса: ответ Конорскому и Миллеру. Журнал общей психологии 16: 272-279.

    Скиннер Б.Ф. (1938) Поведение организмов. Нью-Йорк: Appleton-Century-Crofts.

    Торндайк Э.Л. (1898 г.) Интеллект животных: экспериментальное исследование ассоциативных процессов у животных. Психологические монографии 8:1-109.

    Торндайк Э.Л. (1911) Интеллект животных. Нью-Йорк: Макмиллан.

    Торндайк Э.Л. (1933) Теория действия на него последствий соединения. Психологический обзор 40:434-439.

    Белый NM (1989) Награда или поощрение: в чем разница? Neurosci Biobehav Откр. 13:181-186.

    Уайт Н.М. (1996) Наркотики, вызывающие привыкание, как подкрепление: множественные частичные действия на системы памяти. Склонность 91:921-949.

    White NM, Legree P (1984) Влияние послетренировочного воздействия аверсивного стимула на запоминание.Физиологическая психология 12: 233-236.

    Мудрый Р.А. (1989) Мозг и награда. В: Нейрофармакологическая основа вознаграждения (Либман Дж. М., Купер С. Дж., Ред.), стр. 377–424. Оксфорд: Издательство Оксфордского университета.

    Мудрый Р.А. (2002) Схема вознаграждения мозга: понимание неощутимых стимулов. Нейрон 36: 229-240.

    Мудрый Р.А. (2004) Дофамин, обучение и мотивация. Nature Reviews Neuroscience 5: 483-494.

    Внутренние ссылки

    • Говард Эйхенбаум (2008) Память.Scholarpedia, 3 (3): 1747.
    • Вольфрам Шульц (2007) Награда. Scholarpedia, 2 (3): 1652.

    Внешние ссылки

    См. также

    Классическое обусловливание, оперантное обусловливание, обучение с подкреплением, вознаграждение, сигналы вознаграждения

    Applied Implications of Reinforcement History Effects

    Abstract

    Хотя влияние истории подкрепления находится в центре внимания теоретического анализа поведения, конкретные поведенческие эффекты истории подкрепления получили относительно мало внимания в прикладных исследованиях и практике.Мы изучили потенциальные эффекты истории подкрепления, проанализировав нечеловеческие, человеческие оперантные и прикладные исследования и интерпретировали результаты в отношении возможного прикладного значения. Основное внимание уделяется эффектам истории подкрепления в контексте схем подкрепления, которые обычно используются либо для усиления поведения (например, интервальные графики), либо обычно используются для снижения поведения (например, угасание).

    Ключевые слова: внеэкспериментальная история, человеческий оперант, история подкрепления, переходные состояния, трансляционное исследование

    На поведенческие оценки и вмешательства влияет история подкрепления участника.Под историей подкрепления мы подразумеваем воздействие на участника различных графиков или непредвиденных обстоятельств подкрепления, которых больше нет. Понятие истории подкрепления занимает центральное место в философской ориентации бихевиоризма; однако относительно небольшое количество эмпирических исследований было сосредоточено непосредственно на его влиянии на людей в социально значимых контекстах (Salzinger, 1996; Wanchisen, 1990).

    Большая часть исследований по истории подкрепления была проведена в нечеловеческих лабораториях с использованием операционных камер (напр.г., Alleman & Zeiler, 1974; Барон и Ляйненвебер, 1995; Коэн, Педерсен, Кинни и Майерс, 1994 г.; Коул, 2001; Даути и др., 2005 г.; Фриман и Латтал, 1992; ЛеФрансуа и Мецгер, 1993; Оно и Ивабучи, 1997 г . ; Ванчисен, Татем и Муни, 1989). Преимущество нечеловеческих исследований заключается в том, что они позволяют лучше контролировать истории подкрепления, переживаемые испытуемыми. Например, большинство нечеловеческих субъектов начинают эксперименты, наивно воспринимая действующие непредвиденные обстоятельства, или имеют лишь ограниченный опыт работы с экспериментальной средой.Тем не менее, нечеловеческие лабораторные исследования могут иметь ограниченную внешнюю достоверность.

    В контролируемых лабораторных экспериментах с участием людей также использовались операционные камеры. В этих исследованиях простые реакции и непредвиденные обстоятельства (такие как нажатие кнопки и баллы) часто уже существуют в репертуаре или среде участников. Это может быть больше похоже на прикладные проблемы, чем на эксперименты с участием животных, потому что участники прикладных исследований часто имеют обширную историю реакции или сложных непредвиденных обстоятельств подкрепления, которые поддерживают реакцию в естественной среде. Кроме того, влияние истории подкрепления на людей может резко отличаться от воздействия на не-людей из-за вербального поведения (Branch, 1991).

    Хотя конкретные методы определения эффектов подкрепления в прошлом широко варьировались, наиболее распространенный подход включает оценку эффектов предыдущего воздействия схем подкрепления (например, Weiner, 1962). Как правило, в качестве графиков выбираются два или более графика подкрепления. Влияние истории с этими расписаниями позже оценивается при реагировании во время целевого расписания .После того, как во время графика истории достигнуты стабильные показатели или модели реагирования, реакция оценивается по целевому графику для оценки возможных влияний истории подкрепления.

    Прикладные исследования характерно оценивали эффекты истории подкрепления только косвенно, поскольку эти эффекты не были в центре внимания исследования (например, Mace, Neef, Shade, & Morrow, 1994; Vollmer, Roane, Ringdahl, & Marcus, 1999). Например, во многих прикладных экспериментах участников направляют именно потому, что они проявляют нежелательную реакцию в течение значительного периода времени (т. г., самоповреждающее поведение) и, таким образом, уже имеют установленную историю подкрепления для этой реакции.

    Целью данной статьи является изучение литературы по истории подкрепления с точки зрения применения. Обсуждение не претендует на то, чтобы быть исчерпывающим, а скорее будет сосредоточено на потенциальных последствиях истории подкрепления для прикладного анализа поведения и текущего состояния литературы в отношении прикладных исследований. Учитывая, что только несколько прикладных исследований непосредственно изучали эффекты истории подкрепления, основная часть текущих дискуссий сосредоточена на нечеловеческих исследованиях и их последствиях.Статья организована по влиянию различных историй на графики подкрепления, обычно используемые в качестве вмешательств. С этой целью обсуждение сосредоточено на влиянии истории подкрепления на графики, обычно используемые для приобретения и поддержания надлежащего поведения (графики интервалов и соотношений) и для уменьшения проблемного поведения (графики, основанные на времени и угасание). В каждом разделе обсуждение далее делится на лабораторные исследования и прикладные исследования с будущими направлениями.

    Выводы

    Хотя в большинстве исследований эффектов истории подкрепления использовались человеческие оперантные или нечеловеческие модели, они имеют прямое отношение к применению, поскольку они используют графики подкрепления, которые аналогичны тем, которые поддерживают реагирование в программах приобретения и поддержания навыков, таких как отношение и интервальные графики, а также те, которые используются для лечения проблемного поведения, такие как графики, основанные на времени, и угасание. Для изучения эффектов истории подкрепления было разработано несколько стандартизированных процедур, самая современная из которых включает использование нескольких графиков в рамках внутрисубъектного плана (например,г., Оно и Ивабучи, 1997). Будущие исследования влияния истории подкрепления могут дополнительно усовершенствовать эти процедуры, чтобы лучше понять, как история подкрепления влияет на реакцию в прикладных условиях. Например, могут быть проведены дополнительные исследования, в которых организм подвергается воздействию целевого графика перед историческим графиком, чтобы определить исходный уровень ответа. Удивительно, но эта контрольная процедура редко используется в исследованиях истории подкрепления. Возможно, процедуры контроля исключены из-за опасений, что исходное воздействие последующего целевого графика само по себе является значимой исторической переменной, или из-за вопросов относительно того, что представляет собой надлежащее условие контроля (например,г., Томпсон и Ивата, 2005).

    В большинстве исследований эффектов истории подкрепления в качестве целей использовались графики подкрепления FI. Результаты исследований с использованием целевых графиков FI показывают, что параметры истории и целевых графиков (например, тип графика, значение графика и продолжительность воздействия графика) могут влиять на получение эффектов истории. Напротив, в нескольких исследованиях изучалось влияние истории подкрепления на графики соотношений. Из-за частоты, с которой графики соотношения используются в прикладных условиях, требуется дальнейшее изучение влияния истории подкрепления на эти графики.Первоначальная линия для этого исследования может определить вероятность наблюдения влияния истории подкрепления на целевые графики соотношения. Возможно, существует мало исследований, потому что графики соотношений относительно устойчивы к эффектам истории подкрепления. С этой целью следует поощрять экспериментаторов публиковать не-эффекты, если они получены.

    В приложении эффекты истории подкрепления могут быть непреднамеренно скрыты по нескольким причинам. Во-первых, эффекты истории подкрепления могут остаться незамеченными прикладными исследователями из-за того, что они сосредоточены только на одном измерении поведения (обычно на частоте ответов), когда история влияет на другое измерение, такое как формирование паттернов реакции (Cole, 2001; Doughty & Lattal, 2003; Freeman). & Lattal, 1992; Wanchisen et al., 1989). Во-вторых, наблюдаемые эффекты истории подкрепления могут остаться незамеченными в литературе из-за предполагаемого отсутствия экспериментального контроля. То есть эффекты истории подкрепления могут рассматриваться как загрязнение последующих фаз и могут подорвать план эксперимента, сделав результаты непригодными для публикации (Lattal & Neef, 1996). Наконец, исследователи могут отбросить (и, следовательно, не опубликовать) потенциально эффективные методы лечения, потому что история подкрепления участника приводит к нежелательной частоте ответов на начальных этапах лечения.Прикладные исследователи должны знать о возможности эффектов истории подкрепления и должны попытаться понять возникновение этих эффектов. Кроме того, если набор данных кажется потенциально загрязненным историей подкрепления, можно было бы приложить усилия для определения источника и параметров истории, чтобы получить контроль над как можно большим количеством соответствующих переменных.

    Для прикладных исследований могут быть полезны четыре стратегии, которые помогут расширить наши знания об эффектах истории подкрепления.Первая стратегия включает экспериментальный анализ истории подкрепления с использованием прикладных процедур. Например, исследователи могут предоставить клиентам дифференциальные истории болезни, а затем изучить влияние этих историй на целевые графики, такие как обычно используемые схемы лечения. Текущие исследования оперантов человека с использованием нескольких графиков в качестве историй могут оказаться полезным руководством для расширения прикладных исследований, но будущие исследования могут явно организовать графики, которые, как считается, поддерживают проблемное поведение, как графики истории, и могут организовать графики, обычно используемые для лечения проблемного поведения как цели. расписания.Кроме того, внеэкспериментальные истории участников должны быть представлены в публикациях, если таковые имеются. Экспериментальный анализ этих внеэкспериментальных анамнезов можно было бы провести, начиная, возможно, со стационарных лечебных учреждений, где можно было бы установить конкретные внеэкспериментальные анамнезы для оценки их влияния на реакцию во время экспериментальных сеансов. Предварительные исследования по оценке внеэкспериментального опыта уже начались (например, Kodak, Lerman, & Call, 2007; Roane, Call, & Falcomata, 2005). Прикладное исследование истории подкрепления особенно важно, потому что результаты будут иметь четкую и немедленную пользу при разработке вмешательств для различных адаптивных и проблемных форм поведения.

    Предложение разработать более совершенные модели истории подкрепления в приложении ведет непосредственно ко второй стратегии изучения истории: проблемы, обнаруженные в приложении, могут быть изучены более подробно с использованием нечеловеческих процедур. Хотя исследователи не всегда могут контролировать историю внеэкспериментального подкрепления участников-людей, большую степень контроля можно получить над историей внеэкспериментального подкрепления нечеловека (Wanchisen & Tatham, 1991).Примечательно, однако, что даже нелюди не застрахованы от влияния истории внеэкспериментального подкрепления. Нечеловеческие субъекты, с которыми обращаются или размещают по-другому за пределами экспериментальной камеры, могут иметь внеэкспериментальные истории, которые впоследствии влияют на реакцию (Baron, Perone, & Galizio, 1991; Crabbe, Wahlstein, & Dudek, 1999). Потенциально интересное направление будущих исследований будет включать манипулирование внеэкспериментальными историями нечеловеческих субъектов для оценки того, какие переменные влияют на более позднюю реакцию.Например, предыдущие исследования показали, что манипуляции с внеэкспериментальной историей подкрепления, такие как стимулы, которым подвергаются нечеловеческие существа вне экспериментальной камеры, могут позже повлиять на реакцию (например, Hebb, 1949; Thomas, 1969). Дальнейшие исследования этого типа, особенно те, которые стремятся воспроизвести черты внеэкспериментальной истории клиентов, могут продвинуть наше понимание внеэкспериментальной истории подкрепления как переменной, влияющей на реакцию.

    Третья стратегия включает усилия по сбору дополнительной информации о внеэкспериментальных историях клиентов.На сегодняшний день не разработано надежного метода оценки истории внеэкспериментального подкрепления, но процедуры могут включать интервью с клиентом или лицами, осуществляющими уход за клиентом, для установления фрагментов отдаленной истории подкрепления, а также прямые наблюдения (например, описательный анализ; Mace & Lalli, 1991). ) клиента вне сеансов для выявления типичных текущих внеэкспериментальных переживаний. Например, контакт с подкреплением, используемым в экспериментальных сессиях, можно было измерить вне сессий.Информация о внеэкспериментальных историях клиентов может обеспечить больший контроль над реакцией, особенно за счет более легкой идентификации подкрепляющих факторов и более глубокого знания уровней депривации для различных подкрепляющих факторов. Кроме того, способность классифицировать клиентов в соответствии с особенностями их внеэкспериментальной истории может оказаться полезной для выявления потенциальных переменных, влияющих на эффекты истории подкрепления.

    Окончательная стратегия состоит в том, чтобы продолжать фазу до тех пор, пока поведение не достигнет устойчивого состояния реакции.Вполне возможно, что многие из результатов исследований, опубликованных в области поведенческого анамнеза и в литературе по оценке и лечению в целом, являются результатом поведения, возникающего в переходных состояниях. Проведение фаз до тех пор, пока не будет достигнута устойчивая реакция, стало отличительной чертой нечеловеческих исследований в области анализа поведения, но приобрело меньшее значение в прикладных исследованиях. Безусловно, проведение фаз до тех пор, пока темпы поведения не стабилизируются, часто нецелесообразно, а иногда и невозможно из-за внешних ограничений во времени (например,g., продолжительность учебного года или семестра или время, которое участник проведет в стационаре). Кроме того, проведение расширенных фаз, связанных с высоким уровнем проблемного поведения, может быть неэтичным. Тем не менее, было бы полезно лучше узнать стационарное поведение в прикладных условиях, потому что такое поведение может демонстрировать меньшее влияние истории подкрепления (Baron et al., 1991). Одним из возможных способов решения проблем, связанных с проведением исследования стационарного состояния в приложении, может быть разработка более совершенных моделей поведенческого лечения с использованием неклинических популяций в качестве участников. Результаты этих моделей, в том числе стационарный ответ, могут направлять исследования с клиническими популяциями, тем самым уменьшая потребность в стационарных результатах в более поздних повторениях.

    На сегодняшний день исследования истории подкрепления почти случайно изучили историю и целевые графики, имеющие отношение к клиническому применению. Будущие исследования могли бы явно выбрать графики, которые, как считается, поддерживают проблемное поведение, в качестве историй и обычно используемые графики лечения и графики, используемые для получения и поддержания ответа, в качестве целей.В настоящее время мало исследований о влиянии историй на графики, обычно используемые для уменьшения проблемного поведения, включая DRO и DRA. В дополнение к использованию графиков лечения в качестве целей, дальнейшие исследования должны выбирать графики анамнеза, аналогичные тем, которые действуют в естественных условиях, например, те графики, которые могут поддерживать проблемное поведение. Например, исследователи могли выбрать исторические графики, которые включали как зависящие от реакции, так и независимые от нее подкрепления. Этот тип смешанного анамнеза может быть подобен графику подкрепления, с которым сталкиваются люди, участвующие в проблемном поведении с поддержанием внимания; внимание может оказываться в зависимости от проблемного поведения в течение дня, но внимание также может оказываться независимо от проблемного поведения в другие моменты.Этот тип исследования со сложным графиком необходим для дальнейшего расширения понимания эффектов истории подкрепления в приложении.

    Дополнительные исследования истории армирования могут быть нацелены на другие процедуры, обычно используемые в приложениях. Например, в существующей литературе по истории подкрепления обычно используются первичные подкрепления, которые предоставляются немедленно. За исключением ограниченных человеческих оперантных и прикладных исследований, влияние истории подкрепления на реакцию, поддерживаемую условным подкреплением, остается в значительной степени неизвестным.Знание влияния истории подкрепления на условное подкрепление важно из-за широкого применения условного подкрепления. Системы жетонов широко используются в классах, а другие условные подкрепления (например, деньги и определенные формы похвалы) распространены повсеместно и вызывают несколько потенциальных вопросов относительно их использования. Однако неизвестно, нужно ли использовать те же или подобные подкрепления в истории подкрепления и целевых графиках, чтобы история повлияла на поведение; будет ли история с условным подкреплением иметь тот же эффект, что и история с первичным подкреплением; и степень, в которой задержка обмена взаимодействует с историей подкрепления.

    Благодаря будущим достижениям в методах изучения истории подкрепления и расширению знаний об эффектах истории исследователи могут начать использовать процедуры, включающие эффекты истории, для изучения других явлений. Уже методы, используемые для изучения истории подкрепления, также использовались для проверки гипотез о сопротивлении изменениям (Doughty et al., 2005) и условном подкреплении в схемах параллельных цепей (Ono, Yamagishi, Aotsuka, Hojo, & Nogawa, 2005). Будущие исследования могли бы использовать известные исторические эффекты для дальнейшего понимания того, как основные процессы (например,г., подкрепление, наказание и угасание) действуют в естественной среде. Ясно, что многое еще предстоит узнать об эффектах истории подкрепления. В настоящем обзоре особое внимание уделялось истории подкрепления, но параллельные явления, вероятно, включают в себя истории наказания, истории с динамическими графиками подкрепления (например, графики, основанные на алгоритмах, как предложено Lattal & Neef, 1996) и истории стимул-контроля (включая истории с инструкции).

    Предыстория и развитие теории подкрепления — пример бесплатного эссе

    Б. Ф. Скиннер и его сотрудники предложили теорию мотивации с подкреплением.Теория подкрепления (также называемая оперантным обусловливанием) утверждает, что поведение человека является функцией его последствий. Он основан на законе следствия. 2.2 Закон эффекта OB Mod в значительной степени опирается на закон эффекта, который гласит, что человек склонен повторять поведение, которое сопровождается благоприятными последствиями (подкреплением), и стремится не повторять поведение, которое сопровождается неблагоприятными последствиями. (Ньюстром В. Джон, стр. № 111) Теория мотивации подкрепления рассматривает восприятие людей.Эта теория полностью фокусируется на том, что происходит с человеком, когда он предпринимает какое-либо действие. Таким образом, по Скиннеру, внешняя среда организации должна быть организована эффективно и позитивно, чтобы мотивировать работника. Эта теория применяется для анализа механизма управления поведением индивидуума. Однако он не фокусируется на причинах индивидуального поведения. 2.3 Модификация поведения Модификация поведения организации, или OB Mod, представляет собой применение в организациях принципов модификации поведения, которые развились из работы Б.Ф. Скиннер. OB Mod и следующие несколько моделей являются процессуальными теориями мотивации, поскольку они дают представление о динамике, с помощью которой можно мотивировать сотрудников. (Ньюстром В. Джон, стр. № 111) Рисунок ниже иллюстрирует основные этапы акушерского мода. Источник: «Организационное поведение: управление людьми и организациями», Рики В. Гриффин, Грегори Мурхед. Первый шаг — определить поведенческие события, связанные с производительностью, которые являются желательными и нежелательными. Менеджер ресторана может решить, что наиболее важным поведением официанта является теплое приветствие клиентов и их обслуживание.Второй шаг в изменении поведения предназначен для того, чтобы менеджеры определяли производительность каждого человека, которая обычно рассчитывается в процентах за разные временные интервалы. Например, если какой-либо торговый представитель получает около 25% от общего объема продаж, как того требует компания. Третий шаг заключается в том, чтобы определить существующие непредвиденные обстоятельства поведения или последствия производительности именно того, как работает сотрудник. Четвертый шаг заключается в разработке стратегий вмешательства, другими словами, некоторые элементы структуры, процесса, технологии, групп или задач, связанных с вознаграждением за результат, изменяются, чтобы сделать высокий уровень производительности более полезным. После этапа вмешательства менеджер снова измеряет производительность, чтобы определить, был ли достигнут желаемый эффект. В противном случае менеджер должен снова разработать стратегию вмешательства или повторить весь процесс. Следующим шагом является поддержание желаемого поведения за счет положительного подкрепления, например, предоставления стимулов каждый раз, когда сотрудник демонстрирует желаемое поведение. Наконец, менеджеры должны оценивать управление эффективностью в отношении того, как работает сотрудник, и предлагать долгосрочные вознаграждения, такие как повышение заработной платы, продвижение по службе, чтобы поддерживать постоянные усилия по повышению производительности.(Гриффин В. Рики, 9-е издание, стр. 108). Глава 4. Типы подкрепления. Методы подкрепления. Источник: «Основы организационного поведения», Генри Л. Тосси, Нил П. Меро. Совершенство подчеркивает, что организации, стремящиеся к успеху, должны отмечать то, что вы хотите видеть от своих сотрудников. Для этого важно понимать концепцию положительного подкрепления и ее легкую интеграцию в вашу организацию. Положительное подкрепление — это стандартный инструмент анализа, который можно использовать на рабочем месте, в учебных заведениях и даже в повседневной жизни, связанный с производительностью или поведением. Положительное подкрепление используется менеджерами, чтобы добиться желаемого поведения от сотрудника, имея в виду успех организации. Положительного подкрепления можно добиться, наблюдая за сотрудником и заботясь о нем. Положительное подкрепление оказывает большое влияние на мотивацию, удовлетворенность, производительность и лояльность сотрудников в достижении индивидуального успеха.Кроме того, успехи сотрудников способствуют общему повышению эффективности организации. Когда все эти результаты и факторы успеха положительного подкрепления начнут складываться вместе, ваша организация сделает рывок вперед на все более конкурентном рынке. Положительное подкрепление в организации может быть достигнуто многими способами, такими как похвала сотрудника, если он достиг своей цели, и поощрение, если сотрудник завершил проект за месяц, и приглашение команды на обед и оценка их усилий, а также менеджеры могут проводить обучение сотрудников, достигших целей и задач организации. За этим немедленно последует положительное поведение; сотрудник увидит связь между поведением и положительными последствиями и будет мотивирован повторять подобное поведение в будущем. И сотрудники склонны повторять одно и то же, чтобы получить признание. Формирование — это методичное и постепенное применение положительного подкрепления. Это происходит, когда последовательно даются более частые или более мощные подкрепления по мере того, как сотрудник приближается к желаемому поведению8. Даже если работник не демонстрирует желаемого поведения, его поощряют, давая подкрепление за поведение в правильном направлении.Формирование может использоваться руководителями для обучения сотрудников сложным задачам/поручениям. 3.2 Отрицательное подкрепление: Отрицательное подкрепление — это устранение нежелательного поведения работника. Отрицательное подкрепление также известно как избегание. Другими словами, отрицательное подкрепление используется для усиления желаемого поведения. Вместо того, чтобы получать вознаграждение за желательное поведение, человеку предоставляется возможность избежать неприятных последствий (Griffin W. Rickey, 9-е издание, стр. № 108).Это также включает удаление нежелательных результатов после демонстрации желаемого поведения. Пример распространенного нежелательного поведения сотрудника в организации Сотрудники торопятся и не проверяют качество своей работы. Разговаривать с коллегами вместо того, чтобы своевременно отвечать клиентам, что препятствует развитию организации Быть неприятным, грубым или спорным с товарищами по команде. Противодействие всем предложениям по улучшению, сделанным менеджерами. Неоднократно поднимал банальные вопросы. Чрезмерные перерывы.Не проявляет интереса к изучению новых вещей, связанных с работой. Менеджеры могут применять теорию отрицательного подкрепления для управления поведением сотрудника. Пример 1: если сотрудник не проявляет интереса к работе и проявляет небрежное отношение, менеджеры могут поговорить с сотрудником и сократить поощрение, чтобы вычет мог исправить поведение. работника, поэтому здесь стимул выступает катализатором изменения поведения работника. Пример 2: Менеджеры оказывают давление на сотрудника, если отчет/проект не завершен вовремя, это приводит к тому, что сотрудник завершает отчет/проект, чтобы избежать давления со стороны менеджера.Отрицательное подкрепление часто путают с наказанием, но это не одно и то же. Наказание пытается снизить вероятность определенного поведения; отрицательное подкрепление пытается усилить желаемое поведение. Негативное подкрепление может эффективно использоваться менеджерами для изменения поведения сотрудника в организации и изменения его поведения на желаемое. Таким образом, отрицательное подкрепление является одним из стандартных подкреплений, которые могут использовать менеджеры. 3.3 Наказание. Наказание — это еще один процесс в теории подкрепления, который менеджеры могут применить к сотруднику, чтобы уменьшить частоту нежелательного поведения.Наказание – это неприятное или отталкивающее последствие поведения. Примерами наказания являются устные или письменные выговоры, сокращение заработной платы, увольнение, лишение привилегий и может быть увольнение. (Гриффин В. Рики, 9-е издание) Наказание отличается от отрицательного подкрепления: отрицательное подкрепление используется для усиления желаемого поведения сотрудника, тогда как при наказании неприятное поведение устраняется за счет негативного события, которое следует за поведением сотрудника. Здесь в наказание работник останавливает или избегает нежелательных последствий.Наказание должно использоваться как инструмент для изменения поведения работника и предоставления работнику возможности исправить свое поведение. Кроме того, нежелательное поведение может иметь далеко идущие негативные последствия, если оно остается безнаказанным. (Гриффин В. Рики, 9-е издание, стр. № 105) Пример 1: Менеджер должен наказать сотрудника, если он продолжает работать неэффективно после нескольких предупреждений и не показывает никаких улучшений. Наказание должно использоваться как последнее средство для изменения поведения работника, потому что оно может оказать сильное давление и стресс, что может привести к непредсказуемому результату. Наказание не может навсегда устранить нежелательное поведение, потому что иногда у него не будет альтернативы желаемому поведению. 3.4 Исчезновение: Исчезновение относится к устранению желаемого поведения, когда менеджер сдерживает положительное подкрепление. Если вознаграждение за поведение, которое ранее подкреплялось, прекращается, такое поведение, вероятно, станет менее частым и исчезнет. (Гриффин В. Рики, 9-е издание, стр. 105). Поведение сотрудника больше не подкрепляется и с меньшей вероятностью будет происходить в будущем и может повлиять на рост организации, в то время как положительное подкрепление способствует общему росту организации, угасание может препятствовать рост за счет непризнания результатов работы сотрудников.Пример 1: Если работника постоянно хвалят за быстроту, с которой он выполняет свою работу в течение нескольких месяцев, но в последующие месяцы не получает похвалы за такое поведение, его желательное поведение может уменьшиться. Таким образом, угасание является наиболее важной частью теории подкрепления, потому что оно может повлиять на производительность или креативность сотрудников, что отражается на производительности сотрудников. Чтобы избежать нежелательного вымирания, менеджерам, возможно, придется продолжать предлагать положительные поведенческие последствия и поддерживать его хорошую производительность.Если менеджеры непреднамеренно или иным образом перестанут вознаграждать ценное поведение, такое как хорошая производительность, это поведение также может исчезнуть. (Гриффин В. Рики, 9-е издание, стр. 105). Глава 5 Графики подкрепления Графики теории подкрепления основаны на том, когда менеджеры должны применять различные типы теории подкрепления, чтобы сформировать или изменить желаемое поведение сотрудников. Применение различных типов полностью зависит от ситуации. В таблице ниже представлены пять основных графиков подкрепления, которые могут использовать менеджеры.Гриффин, Грегори Мурхед Два основных типа графиков подкрепления — непрерывный и прерывистый. Хотя график подкрепления часто зависит от практических соображений, подкрепление всегда доставляется по какому-то графику. (Slocump W. John № 108) 5.1 Непрерывное подкрепление Непрерывное подкрепление вознаграждает поведение каждый раз, когда оно происходит. Непрерывное подкрепление очень эффективно для мотивации желательного поведения, особенно на ранних стадиях обучения, когда цель состоит в том, чтобы познакомить работника с основными правилами ситуации.Непрерывное подкрепление должно быть обеспечено быстро и последовательно, чтобы работать. Менеджеры должны внимательно следить за поведением сотрудника, чтобы вознаграждать каждый раз, когда он демонстрирует желаемое поведение. Частичное поощрение может повлиять на то, чтобы сотрудник продемонстрировал желаемое поведение, если работника хвалят каждый раз, когда он завершает свою работу, и не получает одобрения за последующие выполненные работы, сотрудник может перестать прилагать дополнительные усилия. Каждый раз, когда применяется подкрепление, оно усиливает поведение, поэтому постоянное подкрепление приводит к очень быстрому увеличению скорости поведения.Это особенно полезно тогда, когда задача состоит в том, чтобы сформировать какое-то новое поведение или цепочку поведения. (Ченс Пол, стр. 177) 5.2 Подкрепление с фиксированным интервалом Подкрепление с фиксированным интервалом определяется как график подкрепления, в котором вознаграждения распределяются на одинаковых уровнях. Критической переменной является время, и она поддерживается постоянной. Это преобладающий график для большинства наемных работников11. Примерами поощрения с фиксированным интервалом могут быть ежемесячная заработная плата, выдаваемая работнику, еженедельная выплата заработной платы; сотрудники вознаграждаются по графику подкрепления с фиксированным интервалом.(Роббинс, Джадж, Миллет, стр. 59) При подкреплении с фиксированным интервалом сотрудники не вознаграждаются всякий раз, когда они демонстрируют желаемое поведение, они будут вознаграждены ежемесячно, еженедельно, в отличие от непрерывного подкрепления, сотрудник будет вознаграждать каждый раз, когда происходит желаемое поведение. . К сожалению, во многих случаях расписание с фиксированным интервалом не обязательно обеспечивает высокий уровень производительности. Пример: если сотрудники знают, что менеджер будет платить им деньги и посещать их еженедельно, они могут быть мотивированы усердно работать в этот момент, чтобы получить похвалу и признание.А в другие дни недели сотрудники могут работать не так усердно, потому что усвоили, что подкрепление маловероятно, кроме как во время еженедельного визита. 5.3 Подкрепление с переменным интервалом Подкрепление с переменным интервалом использует время в качестве основы для применения подкрепления, но оно меняет интервал между подкреплением. Этот график не подходит для выплаты заработной платы, но он может хорошо работать для других типов положительного подкрепления, таких как похвала и признание, а также для избегания. (Гриффин В. Рики, 9-е издание, стр. 105) Если рассматривать приведенный выше пример для переменного подкрепления, если менеджер посещает рабочие места сотрудников в любое время в течение недели, поэтому они не будут знать, когда менеджер будет посещать их рабочие места. , поэтому сотрудник будет мотивирован на усердную работу в течение более длительного периода времени. 5.4 Фиксированное соотношение В расписании с фиксированным соотношением после предоставления фиксированного или постоянного количества ответов инициируется вознаграждение. (Роббинс, Джадж, Милле) При подкреплении с фиксированным соотношением количество действий, необходимых для получения подкрепления, постоянно. Фиксированный интервал означает, что это происходит с одинаковой скоростью в одно и то же время. Например, пособие, которое вы получаете 20-го числа каждого месяца. 5.5 Переменное соотношение Подкрепление с переменным соотношением, количество действий, требуемых для подкрепления, меняется со временем.Сотрудник, работающий по графику с переменным соотношением, мотивирован усердно работать, потому что каждое успешное поведение увеличивает вероятность того, что следующее приведет к поощрению14. (Гриффин В. Рики, 9-е издание, стр. 106) Подкрепление с переменной пропорцией, как правило, является наиболее действенным из всех схем подкрепления, потому что в переменной пропорции количество желаемого поведения, требуемого для подкрепления, не важно, интервалы между подкреплением очень важны, Интервал между подкреплением не должен быть слишком длинным, иначе работник будет демотивирован и перестанет его пробовать. Пример: Переменное соотношение относится к получению разной суммы денег в разное время. Это можно увидеть у кого-то, кто получает комиссионные — чем больше автомобилей человек продает, тем больше денег он зарабатывает, следовательно, это соотношение, и он / она не знает, сколько автомобилей он собирается продать, чтобы заработать деньги, поэтому они должны продать как можно больше автомобилей. Глава 6 Мотивирующий менеджер В предыдущих главах мы обсуждали типы и графики поощрения, в этой главе мы обсудим несколько моментов о том, как менеджер должен мотивировать сотрудника, чтобы получить от него наилучшие результаты: 1) Относитесь к персоналу. хорошо: менеджер должен быть дружелюбным со всеми сотрудниками организации, а также должен поддерживать дистанцию ​​со своим персоналом, что немного сложно.Менеджер должен мотивировать сотрудника, проводя своевременные обсуждения и групповые встречи и поощряя их за желаемое поведение. Маленькие жесты этого типа помогают в построении теплых отношений. (2) Признать различия: Признание различий очень сложно со стороны менеджера, и это следует делать очень осторожно, потому что все сотрудники в организации вибрируют в разном темпе, поэтому мотивация одного сотрудника может повлиять на рост других сотрудников и может также демотивировал его/ее.Понимание и признание различий между людьми очень важно. (3) Ставьте реалистичные цели: ставьте умеренные цели. Постановка слишком высокой задачи создает ощущение недостижения с самого начала. Поставленные цели должны быть такими, которые кажутся сотрудникам достижимыми. Немного более высокая цель, чем ожидалось, создает проблему. (4) Предотвратить демонизацию: работа менеджера состоит в том, чтобы мотивировать сотрудника, работающего под его началом, роль менеджера включает в себя как мотивацию, так и наказание сотрудника, но наказание должно использоваться как последнее средство для изменения поведения сотрудника, иначе оно может повлиять на производительность труда сотрудников.(5) Нефинансовые вознаграждения: помимо поощрения и повышения заработной платы, менеджер должен сосредоточиться на неденежных вознаграждениях, таких как награда за достижения или благодарственное письмо, которое повышает эффективность сотрудников, чтобы они работали усерднее, а также получали больше похвал. в будущем, что создаст конкурентную среду на рабочем месте. Глава 7. Заключение. Теория подкрепления подробно объясняет, как человек обучается поведению. Менеджеры, пытающиеся мотивировать сотрудников, должны следить за тем, чтобы они не вознаграждали всех сотрудников одновременно.Они должны сообщать сотрудникам, что они делают неправильно, и правильно направлять их, чтобы гарантировать, что все сотрудники работают для достижения успеха организации. Основная цель теории подкрепления состоит в том, чтобы сотрудники как можно быстрее выполняли поставленные перед ними задачи, брали новые проекты и прикладывали максимум усилий для выполнения задач и повышения их эффективности. Менеджер должен видеть сотрудников с человеческой точки зрения, а не с точки зрения бизнеса, поэтому менеджер должен дать сотрудникам возможность перейти к желаемому поведению от нежелательного, что помогает как сотруднику увеличить частоту желаемого поведения, так и менеджерам добиться успеха. и построить хорошие отношения с сотрудниками.

    Хотите получить оригинальное эссе на эту тему?

    Специально для вас мы напишем «Основы и развитие теории армирования» !

    Заказать такую ​​бумагу Вам понравился этот пример?

    Цитировать эту страницу

    Предыстория и развитие теории подкрепления. (2017, 26 июня). Получено 30 января 2022 г. с
    https://studydriver.com/background-and-development-of-reinforcement-theory/

    Копировать .