강화학습: 학습에는 보상(reward)은 필수적인가?

🐭 보상이 있어야만 배울 수 있을까?

— 톨먼의 잠재학습 실험으로 본 학습과 수행의 차이

🧠 우리가 배움을 판단하는 방식

일반적으로 우리는 누군가가 문제를 잘 풀거나 행동을 바꾸는 모습을 보면
"저 사람은 잘 배웠다"고 생각합니다. 즉, 행동 변화(수행)를 통해 학습 여부를 판단하죠.

심리학에서도 오래전부터 이런 관점이 지배적이었습니다.
특히 조작적 조건형성(Operant Conditioning)이라는 이론에서는 다음과 같은 구조가 기본이었습니다.

행동 → 보상 → 행동 강화
→ 같은 행동을 반복하면서 학습이 일어난다

🔄 조작적 조건형성: 스키너의 레버 실험

대표적인 예는 스키너(Skinner)의 실험입니다.

• 쥐를 상자 안에 넣고, 레버를 누르면 먹이가 나오게 합니다.
• 처음엔 우연히 레버를 누르다가,
• 먹이가 나온다는 걸 인지하면 점점 의도적으로 레버를 누르기 시작합니다.

이 실험은 행동주의 심리학자들에게 강력한 메시지를 줍니다.

보상이 있어야 학습이 일어난다.

하지만 과연, 보상이 없으면 진짜로 아무것도 배우지 못하는 걸까요?

❓ 보이지 않아도 학습은 일어날 수 있다?

이 질문에 정면으로 반기를 든 심리학자가 있습니다.
바로 에드워드 톨먼(Edward Tolman)입니다.

그는 이렇게 주장했습니다.

“학습은 보상 없이도 조용히 진행될 수 있다.
다만, 보상이 없으면 그 학습이 행동으로 드러나지 않을 수 있다.”

이 주장을 검증하기 위해 그는 잠재학습(latent learning)이라는 개념을 제시하고,
그 가능성을 실험을 통해 직접 증명하고자 했습니다.

📚 잠재학습(latent learning)이란?

잠재학습이란 학습은 이미 일어났지만,
보상이 없어서 그 학습이 행동으로 표현되지 않은 상태를 말합니다.

예를 들어, 수업시간에 열심히 듣고 이해했지만 시험 전까지 아무도 모를 수 있습니다.
그런데 시험지를 받아들자마자 술술 써 내려가는 친구를 보면,
“얘는 몰래 다 배워놨구나” 하는 생각이 들죠. 그게 바로 잠재학습입니다.

🧪 톨먼과 혼지크(Edward C. Tolman & Chester H. Honzik)의 실험: 보상이 없을 때도 학습이 일어날까?

✔️ 실험 목적

“보상이 없을 때도 학습이 일어나는가?”
“학습과 수행은 서로 다른가?”
“보상은 학습 자체에 필요한가, 아니면 학습을 수행으로 표현하게 만드는가?”

이를 검증하기 위해 세 그룹의 쥐를 다른 조건으로 나누고
17일 동안 미로 탐색 실험을 실시했습니다.

 

🧪 실험 조건 요약

그룹	실험 조건	설정 이유
A (무보상)	17일 동안 보상 전혀 없음	보상이 없으면 학습도 없다는 기존 행동주의 가정을 검증하기 위한 통제군
B (지속 보상)	17일 동안 매일 보상 제공	보상이 주어졌을 때 학습과 수행이 어떻게 나타나는지를 확인하는 기준군
C (지연 보상)	1-10일: 보상 없음 11-17일: 보상 제공	보상 없이 학습이 일어나고, 보상이 주어졌을 때 수행으로 드러나는지를 확인

📊 그룹별 오답 수 변화: 1-10일 vs 11-17일

그룹	1-10일차 오답 수 경향	11-17일차 오답 수 경향
A (무보상)	오답 수 8-9개 수준, 거의 변화 없음	오답 수 7-8개 유지, 개선 없음
B (지속 보상)	오답 수 8개에서 점진 감소 → 10일차에 약 3개 도달	오답 수 2-3개로 안정 유지
C (지연 보상)	오답 수 8-9개 수준, A와 유사한 높은 오답률 유지	11일차부터 오답 수 급감 → 12일차엔 2개 이하로 떨어짐

import matplotlib.pyplot as plt

 

# 데이터 정의

days = list(range(1, 18)) # 1일차부터 17일차까지

 

# 그룹별 평균 오답 수 (예시 값 — 실제 실험값 기반 추정)

group_A = [10, 10, 9.5, 9, 9, 8.5, 8, 8, 7.8, 7.5, 7.5, 7.3, 7.4, 7.2, 7.5, 7.3, 7.1] # No reward

group_B = [9, 8, 7.5, 7, 6.5, 6, 5.5, 5, 4.5, 3.5, 3, 2.8, 2.5, 2.3, 2.2, 2.1, 2] # Regularly rewarded

group_C = [9.5, 8.5, 8.8, 8.6, 8.5, 8.4, 8.3, 8.2, 8.1, 8, 7.8, 4, 3, 2.5, 2.1, 1.8, 1.5] # Reward starting day 11

 

# 그래프 생성

plt.figure(figsize=(10, 6))

plt.plot(days, group_A, 'k--o', label='No reward') # 검정색 점선

plt.plot(days, group_B, 'b--o', label='Regularly rewarded') # 파란색 점선

plt.plot(days, group_C, 'r--o', marker='o', label='No reward until day 11') # 검정색 실선

 

# 보상 변화 시점 강조 (11일차)

plt.axvline(x=11, color='black', linestyle='-', linewidth=1)

plt.text(11.2, 6.5, 'No food reward\nuntil day 11', verticalalignment='center')

 

# 축 라벨

plt.xlabel('Days')

plt.ylabel('Average errors')

plt.title('Tolman & Honzik (1930) – Latent Learning Experiment')

 

# 범례

plt.legend()

 

# 눈금 조정

plt.xticks(days)

plt.yticks(range(0, 11))

 

# 표시

plt.grid(True, linestyle=':', linewidth=0.5)

plt.tight_layout()

plt.show()

 

🔍 결과 해석: 학습과 수행은 별개였다

✅ 그룹 A (무보상)

• 보상이 없으므로 수행할 동기가 없었고,
• 오답률이 줄어들지 않았지만,
• 실험 전체 맥락상 학습이 전혀 없었다고 단정하긴 어렵습니다.
• 내면적으로는 미로 구조를 파악하고 있었을 수 있지만, 보상이 없어 행동으로 표현되지 않았을 가능성이 있습니다.

✅ 그룹 B (지속 보상)

• 보상이 꾸준히 주어졌기 때문에 쥐는 미로 구조를 학습하고,
• 그 학습 내용을 바로 수행으로 표현했습니다.
• 전통적인 조작적 조건형성의 예측과 일치합니다.

✅ 그룹 C (지연 보상)

• 1-10일차: A와 비슷한 오답률 → 수행 없음
• 11일부터 보상이 주어지자, 오답률 급감 → 수행 급증
• 이는 보상이 없던 시기에도 학습은 이미 진행되고 있었음을 강하게 시사합니다.

 

🧠 학습 vs 수행: 이 실험이 바꾼 심리학

이 실험은 기존 행동주의 심리학의 가정을 깨뜨리고, 학습과 수행은 별개의 과정이라는 사실을 밝혀냈습니다.

개념	의미	예시
학습 (Learning)	지식, 경로, 구조를 내면적으로 이해하는 과정	수업 내용을 이해함
수행 (Performance)	학습된 내용을 행동으로 표현하는 과정	시험에서 답을 씀

보상은 학습을 촉진시키는 것이 아니라,
학습을 ‘드러내게’ 만드는 동기 역할이라는 것이 이 실험의 핵심 결론입니다.

📘 마무리하며

이 실험은 단순히 쥐의 행동 실험이 아닙니다.
우리 삶에도 똑같이 적용됩니다.

• 지금 아무런 결과가 없어 보여도,
• 지금 칭찬도, 보상도 없어도,
• 우리는 조용히 배우고 있고,
• 그 배움은 필요할 때, 행동으로 나타날 준비를 하고 있습니다.