조작적 조건화
안전띠를 맬 때까지 차가 삐 소리를 냅니다. 소리가 멈추는 것도 일종의 보상이며, 심리학자들은 이것을 부적 강화라고 부릅니다.
고전적 조건화는 침을 흘리거나 겁을 먹는 것처럼, 나에게 저절로 일어나는 반응을 설명합니다. 하지만 아이가 왜 자전거 타기를 배우는지, 우리가 왜 그렇게 자주 휴대폰을 확인하는지는 설명하지 못합니다. 스스로 골라서 하는 행동에서는 그 행동 뒤에 무엇이 일어나느냐가 중요합니다. 이것이 조작적 조건화(operant conditioning)입니다. 좋은 결과가 뒤따르는 행동은 더 자주 일어나게 되고, 나쁜 결과가 뒤따르는 행동은 덜 일어나게 됩니다.
에드워드 손다이크는 고양이를 문제 상자(puzzle box)에 넣었습니다. 상자 안쪽에는 걸쇠가 있었고, 상자 바깥에는 먹이가 있었습니다. 처음에 고양이들은 우연히 걸쇠를 건드려 빠져나왔습니다. 하지만 시행을 여러 번 거듭할수록 점점 더 빨리 빠져나왔습니다. 손다이크는 이것을 효과의 법칙(law of effect)으로 정리했습니다. 만족스러운 결과가 뒤따르는 반응은 되풀이되고, 불쾌한 결과가 뒤따르는 반응은 되풀이되지 않는다는 것입니다. B. F. 스키너는 1930년대에 이 생각을 바탕으로 조작 상자(operant chamber)를 만들었습니다. 지금은 스키너 상자라고 부르는 장치입니다. 그 안에서 쥐는 지렛대를 누르고 비둘기는 원판을 쪼아서 먹이를 얻었고, 그동안 기록 장치가 반응을 하나하나 셌습니다.
플러스와 마이너스는 좋고 나쁨이 아닙니다
이 용어들에서 강화(reinforcement)는 언제나 행동을 늘리고, 처벌(punishment)은 언제나 행동을 줄입니다. 정적(플러스, positive)은 무언가를 더한다는 뜻이고, 부적(마이너스, negative)은 무언가를 뺀다는 뜻입니다. 그래서 조합은 네 가지가 나옵니다. 정적 강화는 좋은 것을 더합니다(재주를 부리면 간식을 줌). 부적 강화는 싫은 것을 뺍니다(안전띠를 매면 경고음이 멈춤). 정적 처벌은 싫은 것을 더합니다(꾸중). 부적 처벌은 좋은 것을 뺍니다(휴대폰 쓰는 시간을 잃음). 이 넷 가운데 처벌과 가장 자주 헷갈리는 것이 부적 강화입니다. 부적 강화는 행동을 더 자주 일어나게 만든다는 것을 기억하세요.
조형과 강화 계획
비둘기가 혼자서 탁구를 치지는 않습니다. 그래서 스키너는 조형(shaping)을 썼습니다. 처음에는 목표와 대강 비슷한 행동에 보상하고, 그다음부터는 매번 목표에 조금 더 가까운 행동을 해야 보상하는 방법입니다. 보상에는 먹이 같은 일차 강화물이 있습니다. 그리고 칭찬, 돈, 토큰처럼 일차 강화물과 이어지면서 가치가 생긴 이차 강화물이 있습니다. 보상이 얼마나 자주 오는지도 중요합니다. 고정 비율은 정해진 횟수만큼 반응할 때마다 보상합니다(성과급). 변동 비율은 미리 알 수 없는 횟수마다 보상합니다(도박). 변동 비율은 반응이 높고 꾸준하게 나오며, 보상을 끊어도 잘 소거되지 않습니다. 고정 간격은 정해진 시간이 지난 뒤의 첫 반응에 보상합니다. 변동 간격은 미리 알 수 없는 시간이 지난 뒤의 첫 반응에 보상합니다(새 메시지가 왔는지 확인하기).
스키너는 변동 비율 계획만 있으면 비둘기를 병적 도박꾼으로 만들 수 있다고 장담했습니다. 그런데 OpenStax에 따르면, 2019년 쥐를 대상으로 한 연구(라스코프스키 외)는 그런 계획만으로 도박 문제가 생긴다는 생각을 뒷받침하지 못했습니다. 또 스키너는 마음을 속을 들여다볼 수 없는 블랙박스로 다뤘습니다. 하지만 에드워드 톨먼은 다른 결과를 보였습니다. 먹이 없이 10회 동안 미로를 마음대로 돌아다니게 한 쥐들이, 먹이가 놓이자마자 길을 빠르게 찾아간 것입니다. 쥐들은 보상이 없는 동안에도 머릿속 지도(인지 지도, cognitive map)를 만들어 두었던 것이고, 톨먼은 이것을 잠재 학습(latent learning)이라고 불렀습니다. 학습은 강화가 새겨 넣은 것만으로 이루어지지 않습니다.
| 효과의 법칙 | 손다이크: 만족스러운 결과가 따르면 그 반응이 늘어남 |
| 부적 강화 | 싫은 것을 빼서 행동을 늘림 |
| 부적 처벌 | 좋은 것을 빼서 행동을 줄임 |
| 조형 | 점점 더 가까운 근사 행동에 보상 |
| 변동 비율 | 예측할 수 없는 횟수마다 보상, 잘 소거되지 않음 |
| 잠재 학습 | 톨먼: 보상 없이 배워 두었다가 나중에 드러남 |
- 결과가 행동의 빈도를 바꿉니다.
- 강화는 행동을 늘리고 처벌은 줄입니다. 정적은 더하기, 부적은 빼기입니다.
- 조형은 복잡한 행동을 한 단계씩 만듭니다.
- 변동 비율 계획은 높고 끈질긴 반응을 낳습니다.
- 앉으면 간식을 받는 개가 더 자주 앉습니다.
- 정적 강화
- 부적 강화
- 정적 처벌
- 부적 처벌
- 경고음을 멈추려고 안전띠를 매고, 다음엔 더 빨리 맵니다.
- 정적 강화
- 부적 강화
- 정적 처벌
- 부적 처벌
- 귀가 시간을 어긴 십대가 휴대폰 시간을 잃고 덜 어기게 됩니다.
- 정적 강화
- 부적 강화
- 정적 처벌
- 부적 처벌
- 수업 중 문자를 보내다 꾸중을 들은 학생이 문자를 덜 보냅니다.
- 정적 강화
- 부적 강화
- 정적 처벌
- 부적 처벌
- 슬롯머신에 해당하는 계획은?
- 고정 비율
- 변동 비율
- 고정 간격
- 변동 간격
- 물건 10개마다 돈을 받는 공장 노동자의 계획은?
- 고정 비율
- 변동 비율
- 고정 간격
- 변동 간격
- 돈은 어떤 강화물일까요?
- 일차 강화물
- 이차 강화물
- 무조건 자극
- 처벌
- 4분의 1 바퀴, 반 바퀴, 한 바퀴 순으로 보상해 비둘기가 원을 돌게 하는 것은?
- 조형
- 소거
- 일반화
- 잠재 학습
- OpenStax가 인용한 2019년 쥐 연구는 변동 비율 계획만으로 병적 도박이 생긴다는 것을 확인했다.
- 예
- 아니요
- 보상 없던 톨먼의 쥐가 먹이가 생기자 금세 찾아갔습니다. 무엇을 보여 줄까요?
- 강화 없이도 학습이 일어남
- 쥐는 미로를 못 배움
- 처벌이 가장 효과적
- 반사만 학습됨
이 과정의 출처 (15)
- OpenStax Psychology 2e (openstax.org/books/psychology-2e)
- sections 6.2 Classical Conditioning (Pavlov 1927; Garcia and Koelling 1966; Rescorla and Wagner 1972; Watson and Rayner 1920)
- 6.3 Operant Conditioning (Thorndike 1911 law of effect; Skinner 1938; reinforcement and punishment; shaping; primary and secondary reinforcers; schedules; Skinner 1953 on gambling; Laskowski et al. 2019; Tolman latent learning)
- 6.4 Observational Learning (Bandura, Ross and Ross 1961; attention, retention, reproduction, motivation; Yamamoto, Humle and Tanaka 2013; Anderson et al. and Ferguson on media violence)
- 10.1 Motivation (Deci, Koestner and Ryan 1999; Yerkes and Dodson 1908; Bandura 1994 self-efficacy; Maslow 1943 and its criticism; drive theory and habits)
- 8.4 Ways to Enhance Memory. Lally, van Jaarsveld, Potts and Wardle (2010) European Journal of Social Psychology 40, 998-1009, doi 10.1002/ejsp.674 (96 volunteers, 12 weeks, 82 with enough data, 39 good model fits, median 66 days to 95% of plateau, range 18 to 254 days, missing one opportunity did not materially affect habit formation)
- Hagger et al. (2016) Perspectives on Psychological Science 11, 546-573, PubMed 27474142 (23 labs, N = 2,141, d = 0.04, 95% CI -0.07 to 0.15)
- Dang et al. multilab replication, PMC8186735 (12 labs, N = 1,775, d = 0.10)
- Dunlosky et al. (2013) Psychological Science in the Public Interest 14(1)
- PubMed 26173288 (10 techniques; high utility: practice testing, distributed practice; moderate: elaborative interrogation, self-explanation, interleaved practice; low: summarization, highlighting, keyword mnemonic, imagery for text, rereading)
- Pashler, McDaniel, Rohrer and Bjork (2008) PSPI 9(3) 105-119, PubMed 26162104. Mueller and Oppenheimer (2014) Psychological Science, PubMed 24760141
- Morehead, Dunlosky and Rawson (2019) Educational Psychology Review replication
- Urry et al. (2021) Psychological Science direct replication of Study 1. Roediger and Karpicke (2006) Psychological Science 17(3)
- Card intervals come from this site's own flashcard code (0, 1, 3, 7, 14, 30 days)
- Everyday scenes are made up for teaching. General information only.
확인한 날: 2026-10-17