Эксперименты

Текст выступления.

Научение – это постепенное изменение в актуальном и возможном поведении, полученное в результате опыта. Иными словами, научение представляет собой формирование тренированного автоматизированного навыка.
Оперантное (инструментальное) научение - вид научения, в котором правильная реакция или изменение поведения подкрепляется и становится более вероятным.
Этот вид научения экспериментально изучали и описали американские психологи Э. Торндайк и Б. Скиннер. Эти учёные внесли в схему научения необходимость подкрепления результатов упражнений.
Сначала Торндайк с цыплятами, выкладывал им из книг различные лабиринты. Позже он провёл опыты с так называемыми «проблемными ящиками». В данном эксперименте кошки должны были нажимать на задвижку или тянуть за пружину, чтобы, открыв дверцу, выйти из ящика и получить снаружи пищу. Ящики были сделаны с вертикальными щелями так, что пища была заметна. Кошка совершает хаотичные движения, которые в большинстве своём бывают неверными. При повторении опыта кошка выходит из ящика быстрее. Данный вид обучения был назван Торндайком «методом проб и ошибок».
Проба - удачный способ поведения, приводящий к успешному результату
Ошибка - неудачная проба.
В дальнейшем обучение животного подобным действиям получило название инструментальных (или оперантных) УР. Оно называется инструментальным научением, поскольку правильная реакция, ведущая к вознаграждению, требует использования “инструментов”. Инструментальное научение подчинено закону эффекта (закону результата) -если за реакцией следует вознаграждение или состояние удовлетворения, вероятность повторения возрастает, если же за реакция, вызывает вредное или неприятное последствие, вероятность повторения снижается. Между классическими и инструментальными УР существуют определенные различия.
При классических УР временная связь между условным сигналом и безусловной реакцией возникает непроизвольно при действии безусловного раздражителя (подкрепления).
При инструментальных УР подкрепление, например пища, дается только после того, как животное совершает определенное действие, которое не имеет прямой связи с безусловным раздражителем. К инструментальным навыкам относятся формирование навыка нажатия на рычаг (или клевания кнопки) для получения пищи, обучение подопытного животного находить путь к пище или избегать неприятных стимулов в лабиринте (навык избегания).
Также Торндайк первым предложил количественную оценку динамики обучения животного инструментальному навыку. Для этого он ввел так называемые «кривые научения». В 1898 г. Э. Л. Торндайком была предпринята одна из первых серьезных попыток изучить изменения, обусловливаемые последствиями поведения. Кривые научения не описывают сущность запечатления. Критерий Торндайка — время, необходимое животному для того, чтобы выбраться из клетки, — был связан с устранением других видов поведения, и его кривая зависела от ряда различных действий, которые могла выполнять кошка в определенном ящике. Усредняя многие показатели индивидов, мы можем сгладить эти кривые. Кривые научения показывают, как различные виды поведения, порождаемые в сложных ситуациях, отбираются, закрепляются и реорганизуются. Базисный» процесс запечатления отдельного акта осуществляет это изменение, но в самом изменении он прямо не отражен.
Далее Скиннер инструментальное научение переназвал как оперантное (научение оперировать в какой-то ситуации). Он перечислил факторы этого научения. Их четыре. Два важных различения. 1) Субъект чего-то достигает (получает) 2) Избегание результата (лишение). С другой стороны характеристики самого результата. А) Желаемый результат Б) Не желаемый результат.
1а) Достижение желаемого результата. Положительное подкрепление. Например, кошка выскочила из клетки и захватила приманку.
2б) Избегание не желаемого результата. Отрицательное подкрепление. Например, в клетке было тесно, душно или в полу клетки пролегала сетка с электрическим током. Когда вышла из клетки избежала не желаемого.
Положительное и отрицательное подкрепление приводят к повышению вероятности соответствующего способа поведения.
2а) Лишение желаемого результата. Отсутствие подкрепления, приводит к угасанию. Кошка выскочила из клетки, а приманку убрали.
1б) Получение не желаемого результата. Это наказание. Например, кошка выскочила из клетки, убрали приманку и ударили током.
Угасание и наказание приводят к понижению вероятности соответствующего способа поведения.
Скиннер разработал методику свободного оперантного поведения, при которой животному позволяют совершать различные действия и нужные подкрепляют.

Эксперименты

Данный эксперимент называется «ящик Скиннера», который с одной из сторон имеет рычаг соединённый с кормушкой. Снаружи за стенкой расположен сложный механизм. После каждого нажатия на педаль в кормушку падает гранула корма. Как только крысу сажали в ящик, она начинала активно исследовать его – обнюхивать и карабкаться на стенки. При этом случайно нажимала на педаль, после чего в кормушку падал корм. Постепенно крыса начинает понимать взаимосвязь между действием (нажатием на рычаг) и результатом (получением корма). Изначально крыса изредка нажимала на рычаг, но в ходе эксперимента число нажатий возросло.
Не обязательно ждать от животного случайного нажатия на рычаг. Это действие можно спровоцировать (инициировать) различными способами. Например, при обучении голубя клевать к педали можно приклеить зернышко.
Взаимосвязь и различия условно-рефлекторного и инструментального научения.
• Между классическими и инструментальными условными рефлексами существуют определенные различия.
При классических – временная связь между условным сигналом и безусловной реакцией возникает непроизвольно при действии безусловного раздражителя (подкрепления).
При инструментальных условных рефлексах подкрепление, например пища, дается только после того, как животное совершает определенное действие, которое не имеет прямой связи с безусловным раздражителем.
Также к различиям относятся:
• процедура выработки
• разные эффекторные системы (вегетативная и двигательная системы)
• разное количество сочетаний, необходимых для образования условных рефлексов (для классического – сотни, для инструментального – десятки)
• условная реакция в классическом условном рефлексе является копией безусловной реакции, в инструментальном условном рефлексе она может быть любой
• классический условный рефлекс формируется по принципу «ассоциации по смежности», инструментальный – по принципу «проб и ошибок»
Также классические и инструментальные рефлексы имеют следующие сходства:
• угасают при неподкреплении
• могут восстанавливаться непроизвольно
Метод " проб и ошибок" в решении интеллектуальных задач стал рассматриваться как общая закономерность, характеризующая поведение и животных. Торндайк сформулировал четыре основных закона научения.
1. Закон повторения (упражнения). Чем чаще повторяется связь между стимулом и реакцией, тем быстрее она закрепляется и тем она прочнее.
2. Закон эффекта (подкрепления). При выучивании реакций закрепляются те из них, которые сопровождаются подкреплением (положительным или отрицательным).
3. Закон готовности. Состояние субъекта (испытываемые им чувства голода, жажды) небезразлично для выработки новых реакций.
4. Закон ассоциативного сдвига (смежности во времени). Нейтральный стимул, связанный по ассоциации со значимым, тоже начинает вызывать нужное поведение.
Оперантное научение происходит при большей активности организма, оно контролируется (определяется) его результатами, последствиями. Общая тенденция такова, что если действия привели к позитивному результату, к успеху, то они будут закреплены и повторены.
Исследования Б. Скиннера в рамках бихевиоризма
Оперантное научение — это метод обучения, который включает в себя систему поощрений и наказаний с целью усилить или прекратить определенный тип поведения. При этом организм ассоциирует свое поведение с последующим результатом. Такое научение направлено на подкрепление контролируемого индивидом поведения.
Таким образом, Скиннер заметил, что оперантно обусловленная реакция при неподкреплении угасает точно так же, как и классически обусловленная реакция. Исследователь может установить критерий дифференцировки, подавая пищу только тогда, когда крыса нажимает на рычаг при горящей лампочке, и тем самым вырабатывая условную реакцию у крысы путем избирательного подкрепления. Свет тут служит стимулом, который контролирует реакцию.
Скиннер также добавляет положения о двух видах поведения: респондентное и оперантное поведение.
Респондентное поведение — это характерная реакция, вызываемая известным стимулом; стимул, при этом, всегда предшествует реакции. В качестве примера можно привести сужение или расширение зрачка в ответ на световую стимуляцию, подергивание колена при ударе молоточком по коленному сухожилию и дрожь при холоде.
Оперантное поведение — это произвольные приобретенные реакции, для которых не существует стимула, поддающегося распознаванию. Вызванное оперантным научением такое поведение определяется событиями, которые следуют за реакцией, т. е. за поведением идет следствие, и природа этого следствия изменяет тенденцию организма повторять данное поведение в будущем.
Например, катание на роликах, игра на гитаре, написание собственного имени – это образцы оперантной реакции, контролируемые результатами, следующими за соответствующим поведением.