AUC, ROC란?

AUC-ROC이란?

AUC-ROC 곡선의 이해 (1): 왜 등장했고, 왜 쓰는가?

---

1. ROC 곡선은 왜 등장했는가?

우리가 어떤 대상을 보고 “있다 / 없다”를 판단하는 상황은 심리학 실험에서 매우 흔하게 나타납니다.

예를 들어,

• 단어를 보고 “전에 본 적이 있는가”를 판단하거나,
• 얼굴을 보고 “이 사람을 신뢰할 수 있는가”를 판단하거나,
• 소리를 듣고 “신호가 들렸는가”를 판단할 때,

사람들은 자극에 대해 이진적 판단을 내리게 됩니다.

---

📜 역사적 맥락: 제2차 세계대전과 레이더 기술

ROC 곡선은 처음부터 심리학에서 만들어진 개념이 아닙니다.

그 기원은 제2차 세계대전 중 레이더 기술의 발전에서 비롯됩니다.

군사 작전에서 레이더 관측자는 끊임없이 화면을 주시하며,

거기에 나타나는 희미한 흔들림이 적 항공기인지 단순한 노이즈인지 판단해야 했습니다.

• 너무 신중하게 판단하면 실제 적 비행기를 놓칠 수 있었고,
• 너무 예민하게 판단하면 단순한 노이즈를 적기로 오인할 수 있었습니다.

이때 단순히 “정답률”만 가지고 성능을 평가하면

보수적 판단자와 진보적 판단자의 차이를 제대로 파악할 수 없었습니다.

그래서 등장한 것이 ROC 곡선(Receiver Operating Characteristic curve) 입니다.

이 곡선은 판단자의 민감도와 판단 기준을 분리해서 평가할 수 있는 시각적 도구로 만들어졌습니다.

---

2. ROC 곡선은 무엇이고, 왜 유용한가?

ROC 곡선은 신호 탐지 능력을 평가하는 2차원 곡선입니다.

보다 구체적으로 말하면, 판단 기준을 변화시킬 때 발생하는

• 민감도(TPR, True Positive Rate)
• 오판률(FPR, False Positive Rate) 쌍을 좌표평면 위에 찍어 연결한 궤적입니다.

---

📐 민감도와 오판률은 어떻게 계산되는가?

ROC 곡선을 구성하는 TPR과 FPR은 다음과 같이 계산됩니다:

실제참가자 반응명칭수식

신호	"있다"라고 응답	TP (True Positive)
신호	"없다"라고 응답	FN (False Negative)
잡음	"있다"라고 응답	FP (False Positive)
잡음	"없다"라고 응답	TN (True Negative)

• 민감도 (TPR) = TP / (TP + FN)
• 오판률 (FPR) = FP / (FP + TN)

즉, TPR은 신호를 얼마나 잘 맞췄는지,

FPR은 잡음을 얼마나 착각했는지를 나타냅니다.

---

📊 기준 이동에 따른 ROC 곡선 상의 점 변화

ROC 곡선은 단순히 한 점을 찍는 것이 아니라,

판단 기준(criterion)을 높였다 낮췄다 하면서 여러 개의 (FPR, TPR) 쌍을 계산하여

그 흐름을 선으로 연결한 것입니다.

다음은 판단 기준이 어떻게 ROC 곡선의 점들을 바꾸는지를 텍스트 기반으로 나타낸 것입니다:

TPR
 ↑
1.0 ────────────────────────────────● (기준 매우 낮음: 모든 자극에 "있다" → TPR↑, FPR↑)
     │
     │                         ● (기준 낮음)
     │
     │                  ● (기준 중간)
     │
     │           ● (기준 높음)
     │
     │    ● (기준 매우 높음: 거의 모든 자극에 "아니다" → TPR↓, FPR↓)
     │
0.0 └────────────────────────────────→ FPR
     0.0                         1.0

• 기준이 높을수록 보수적인 판단 → 신호도 잡음도 모두 거절
• 기준이 낮을수록 진보적인 판단 → 신호도 잡음도 모두 받아들임
• 그 결과, TPR과 FPR이 함께 변화하며 ROC 곡선이 만들어집니다.

---

⚖ 정답률만으로는 보이지 않는 것들

단순 정답률은 판단 기준에 따라 왜곡될 수 있습니다.

예를 들어, 모든 자극에 "있다"고 응답하면 신호는 모두 맞출 수 있지만,

잡음도 모두 오판하게 됩니다.

이 경우:

• TPR = 1.0
• FPR = 1.0 → 정답률이 높아 보일 수 있지만, 실제 성능은 낮습니다.

반대로, 모든 자극에 "없다"고 하면:

• TPR = 0.0
• FPR = 0.0 → 정답률이 높을 수도 있지만, 신호를 전혀 탐지하지 못한 것입니다.

→ 이처럼 ROC 곡선은 정답률만으로는 절대 알 수 없는 판단 전략의 질적 차이를 보여줍니다.

---

✅ ROC 곡선의 핵심 장점

측면장점

판단 기준 변화 반영	기준을 바꾸며 얻은 점들을 곡선으로 표현 가능
정답률의 왜곡 방지	기준에 따른 착시 없이 판단 전략 전체를 해석
민감도 vs 오판률 간 trade-off 시각화	판단 전략의 균형 평가 가능
실험 결과 해석력 향상	집단 간 판단 방식의 질적 차이 파악 가능

---

🧠 예시: 기억 판단 실험

참가자가 단어를 보고 “전에 본 적이 있다”고 판단하는 과제에서,

보수적인 사람은 대부분 "아니다"라고 응답하고,

진보적인 사람은 대부분 "있다"라고 응답합니다.

정답률은 비슷하게 나올 수 있지만,

ROC 곡선을 그려보면 두 사람의 판단 기준과 전략이 전혀 다름을 확인할 수 있습니다.

---

🔚 요약

• ROC 곡선은 기준 변화에 따라 달라지는 판단 성능을 시각화합니다.
• TPR과 FPR은 단순 정답률보다 훨씬 정밀하게 판단 전략을 구분해줍니다.
• 판단 기준이 어떤 식으로 작동하는지를 점의 이동을 통해 추적할 수 있습니다.
• 심리학, 의학, 기계학습 등 다양한 분야에서 판단 성능 평가의 핵심 도구로 사용되고 있습니다.

 

---

AUC-ROC 곡선의 이해 (2): SDT와의 연결, 그리고 AUC란 무엇인가?

---

3. Signal Detection Theory와 ROC 곡선의 연결

ROC 곡선은 단순한 그래프가 아닙니다.

이 곡선은 신호탐지이론(Signal Detection Theory, SDT) 이라는

심리학의 핵심 이론 위에서 형성됩니다.

---

🧠 SDT란 무엇인가?

Signal Detection Theory는

사람이 신호와 잡음을 어떻게 구분하는가를 수학적으로 설명하는 이론입니다.

이 이론은 자극 자체의 특성과 사람의 판단 기준을 분리해서 생각합니다.

---

📦 SDT의 핵심 구성 요소

요소설명

신호 분포	실제로 신호가 있는 자극들의 자극 강도 분포
잡음 분포	실제로 신호가 없는 자극들의 자극 강도 분포
판단 기준(criterion)	자극이 특정 강도를 넘으면 “있다”고 판단하는 임계점
민감도(d′)	신호와 잡음 분포의 분리 정도 (신호 구분 능력)
판단 기준 위치(c)	보수적/진보적 판단 스타일 반영 (기준이 얼마나 높거나 낮은지)

---

📐 SDT와 ROC 곡선은 어떻게 연결되는가?

• SDT의 판단 기준을 바꾸면, 신호와 잡음에 대한 반응 비율이 달라집니다.
• 각 기준에서 나오는 (FPR, TPR) 값이 ROC 곡선의 점이 됩니다.
• 여러 기준을 조정하면, 이 점들이 연결되어 하나의 곡선이 됩니다.

---

📊 SDT 지표별 ROC 곡선의 변화

기준 위치TPRFPRROC 곡선 위치해석

매우 보수적 (높은 기준)	낮음	매우 낮음	좌하단	거의 아무 자극도 "있다"고 안 함
중간 기준	중간	중간	중간 지점	평균적 판단
매우 진보적 (낮은 기준)	높음	매우 높음	우상단	거의 모든 자극을 "있다"고 함

이처럼 ROC 곡선은 SDT의 기준 위치를 점진적으로 변화시켜서 생기는 궤적입니다.

따라서 ROC는 단순히 응답률을 나타낸 선이 아니라,

사람이 기준을 어떻게 설정하며, 자극 분포를 얼마나 잘 구분하는지를 보여주는 이론적 곡선입니다.

---

📈 민감도(d′)와 ROC 곡선의 관계

• d′ (디프라임) 은 **신호와 잡음 분포 간의 거리(분리도)**를 의미합니다.
• d′가 크면 → 신호와 잡음을 더 잘 구분 → ROC 곡선이 왼쪽 위로 휘어짐
• d′가 작으면 → 신호와 잡음이 섞여 있음 → ROC 곡선이 대각선에 가까움

ROC 곡선은 d′의 크기에 따라 형태가 달라집니다.

→ 그래서 ROC는 d′의 시각적 표현이라고도 할 수 있습니다.

 

• 민감도가 낮은 경우(d' = 0.5)

 

• 민감도가 중간인 경우(d'=1.5)

 

 

• 민감도가 높은 경우(d'=3.0)

---

• 세 가지 경우를 비교(d' = 0.5, 1.5, 3.0)

파란 색의 경우가 민감도가 높음으로 특정 직무에 선발할 경우 파란색의 그래프를 나타내는 사람을 뽑는 것이 유리

머신러닝의 모델의 경우 빨강, 초록, 파랑 곡선을 나타내는 각 3가지 모델이 있다고 하면, 파랑색 모델을 쓰는 것이 유리

 

 

4. AUC (Area Under the Curve)란 무엇인가?

ROC 곡선이 형성되면, 그 아래 면적을 계산할 수 있습니다.

이 면적이 바로 AUC(Area Under the Curve) 입니다.

---

🧮 AUC 정의

• AUC는 ROC 곡선 아래에 위치한 2차원 면적의 값입니다.
• x축(FPR: 오판률), y축(TPR: 민감도) 사이에 생기는 총 면적을 0~1 사이 실수로 표현합니다.

AUC 값해석

1.0	완벽한 판단: 신호는 전부 맞추고, 잡음은 전부 거절
0.5	무작위 판단: 신호와 잡음을 전혀 구분하지 못함
0.7~0.9	현실적 판단 성능 범위 (좋은 성능)
< 0.5	잡음을 신호로 오판하거나 반대로 판단 (이상적 상황 아님)

---

🎯 AUC는 왜 중요한가?

AUC는 기준에 영향을 받지 않는 판단 성능의 총합 지표입니다.

즉, 어떤 기준을 쓰든 간에,

전체적으로 신호와 잡음을 얼마나 잘 구분했는가를 평가합니다.

---

✅ AUC의 핵심 장점 요약

장점설명

기준 무관성	어떤 판단 기준을 사용하더라도 전체 성능을 비교 가능
종합 판단력 지표	정답률, 민감도, 특이도보다 안정적
시각적 명료성	곡선이 왼쪽 위로 휘어질수록 AUC가 커짐
모형 간 비교에 유용	실험 조건별 판단력 비교, 기계학습 모델 평가 등에서 사용됨

---

🧠 예시로 보는 AUC 해석

예를 들어 두 참가자의 AUC를 비교해보면:

참가자AUC 값해석

A	0.92	거의 모든 신호와 잡음을 구분함
B	0.65	일부 신호는 잘 맞췄지만 잡음과 많이 헷갈림

A는 판단 기준이 어디에 있든, 전체적으로 정확하게 판단했고,

B는 기준에 따라 성능이 흔들리는 불안정한 구분 능력을 보였다고 해석할 수 있습니다.

---

🔚 이번 회차 요약

• ROC 곡선은 SDT 기반 판단 메커니즘을 시각화한 구조입니다.
• 민감도(d′), 기준(c), 오판률(FPR) 등 SDT 개념이 그대로 녹아 있습니다.
• ROC 곡선 아래 면적, AUC는 판단 성능의 통합적 요약치로서 판단 기준에 관계없이 성능을 평가할 수 있게 해 줍니다.

 

---

AUC-ROC 곡선의 이해 (3): 심리학 실험 적용과 해석 시 주의점

---

5. 심리학 실험에서 ROC와 AUC는 어떻게 적용되는가?

ROC와 AUC는 단순 이론이 아니라, 실험 데이터를 해석하는 핵심 도구입니다.

기억, 감정 인식, 감각 탐지, 판단 평가 등에서 신호-잡음 구분을 요하는 모든 실험에서 활용됩니다.

---

🧪 예시 1: 기억 판단 실험

실험 설계 개요

• 자극: 단어 100개 (그중 50개는 이전에 본 것, 50개는 처음 보는 것)
• 과제: 각 단어를 보고 “전에 봤다(Old)” 또는 “처음 본다(New)” 중 하나 선택
• 응답 방식: 단순 이진 응답 또는 신뢰도(1~6점 등) 척도 사용

---

ROC-AUC 적용 절차

1. 자극 분류
   • Old (신호) / New (잡음)
2. 참가자 응답 수집
   • Old라고 판단한 개수
   • New라고 판단한 개수
3. 신뢰도 기준 설정
   • 예: 6점 척도를 기준으로, “4점 이상이면 Old”로 보는 기준을 다양하게 조정
   • 이렇게 기준을 점진적으로 이동시키며, 각 기준마다
     • TPR = TP / (TP + FN)
     • FPR = FP / (FP + TN) 값을 계산
4. ROC 곡선 생성
   • 각 기준에서 얻은 (FPR, TPR) 점들을 2차원 평면에 찍고 연결
5. AUC 계산
   • ROC 곡선 아래 면적을 수치적으로 계산 → 판단 성능 지표

---

예시 데이터

기준 (Old 판단 기준)TPRFPR

≥6점만 Old	0.40	0.05
≥5점 이상 Old	0.60	0.12
≥4점 이상 Old	0.75	0.25
≥3점 이상 Old	0.88	0.40
≥2점 이상 Old	0.95	0.60
≥1점 이상 Old	1.00	1.00

→ 이 점들을 연결한 것이 ROC 곡선이며,

→ 그 아래 면적이 AUC입니다.

---

🧪 예시 2: 감정 분류 과제

• 참가자는 음성 파일을 듣고 “기쁨, 슬픔, 분노, 중립” 중 감정을 분류
• 실제 정답은 이 중 하나
• 정답 감정에 대한 반응을 신호, 나머지를 잡음으로 분류
• 신뢰도 혹은 확률 점수를 기준으로 ROC 생성
• 각 감정별 ROC 곡선을 그려서 감정별 구분 성능 비교

---

✅ 실험에서 ROC-AUC를 사용할 때의 장점

목적ROC-AUC의 역할

정확도 비교	단순 정답률보다 기준에 덜 민감하게 판단력 비교 가능
참가자 간 판단 품질 비교	전문가 vs 초보자 등 집단 간 구분 가능
자극 조건에 따른 차이 평가	자극 유형, 환경 변화 등 조건 효과 확인
판단 기준의 영향 제거	기준 위치에 관계없이 구분 능력 자체를 평가

---

6. ROC와 AUC 해석 시 주의할 점

ROC-AUC는 매우 유용한 평가 도구이지만, 무조건적인 해석은 위험합니다.

다음은 반드시 고려해야 할 제한 사항들입니다.

---

⚠️ 주의점 1: Class imbalance (신호/잡음 비율 불균형)

• 예: 전체 자극 중 신호가 90%, 잡음이 10%라면
• FPR이 약간만 높아도 전체 성능이 매우 안 좋아 보일 수 있음
• 특히 의료, 보안, 범죄 탐지 분야에서 이 이슈가 심각하게 작용

→ 정확한 해석을 위해선 신호/잡음 비율을 실험 설계에서 통제하거나

→ ROC 외 다른 지표(Precision-Recall 곡선 등)와 병행 해석 필요

---

⚠️ 주의점 2: Cutoff 기반 평가 지표와의 혼동

• AUC는 기준 변화 전체를 반영한 평가 지표임
• 반면 Accuracy, F1 Score 등은 단 하나의 기준에서 평가
• 두 지표를 혼동하면 해석 오류 발생

→ 예를 들어, AUC가 높아도 특정 cutoff에서는 Accuracy가 낮을 수 있음

→ 반대로 Accuracy는 높지만 AUC는 낮은 경우도 존재 (편향된 기준)

---

⚠️ 주의점 3: ROC vs Precision-Recall (PR) 곡선

• PR 곡선은 양성 클래스 예측의 정밀도와 재현율을 나타냄
• 클래스 불균형에 민감한 상황에서는 PR 곡선이 더 유리
• ROC 곡선은 모든 판단 조건을 고려한 시각적 요약에 강점

→ 상황에 따라 어떤 곡선을 쓸지 판단해야 함

---

🔚 이번 회차 요약

• ROC-AUC는 실험에서 참가자 판단 데이터를 해석하는 도구로 널리 사용됨
• 신뢰도 척도 기반 응답, 또는 cutoff 변경이 가능한 실험 설계가 필요함
• AUC는 기준을 넘어서 판단 성능을 평가할 수 있게 해 주지만,해석 시 class 비율, 다른 지표와의 관계 등을 반드시 고려해야 함

---

AUC-ROC 곡선의 이해 (4): 요약과 실험 설계의 시사점

---

7. ROC-AUC: 판단을 이해하는 강력한 도구

우리가 어떤 대상을 보고 “있다 / 없다” 혹은 “맞다 / 틀리다”를 판단할 때,

그 판단은 단순히 맞았는가 틀렸는가로만 측정되기에는 너무나 복잡한 인지적 과정입니다.

• 어떤 사람은 신중하게 판단하지만, 많은 신호를 놓치고
• 또 어떤 사람은 넉넉하게 판단하지만, 잡음까지 신호로 착각합니다.

이때 단순 정답률만으로 이 둘을 비교하면, 전혀 다른 판단 전략이 같은 성능처럼 보일 수 있습니다.

그래서 ROC 곡선과 AUC가 필요합니다.

---

📘 지금까지의 개념 요약

개념정의주요 역할

ROC 곡선	TPR vs FPR의 궤적	기준 변화에 따른 판단 변화 시각화
TPR (민감도)	신호 중 맞춘 비율 = TP / (TP + FN)	진짜 신호를 잘 잡아내는 능력
FPR (오판률)	잡음 중 착각한 비율 = FP / (FP + TN)	거짓 경보를 얼마나 냈는가
SDT	신호와 잡음을 분포로 모델링	기준(c), 민감도(d′)로 판단 구조 설명
AUC	ROC 아래 면적 (0~1)	전체적인 판단 성능 요약 지표
곡선의 모양	왼쪽 위로 휘어질수록 좋음	민감도가 높고 오판률은 낮다는 뜻

---

🧪 실험 설계에서의 시사점

ROC-AUC 개념은 단지 이론적 모델이 아니라, 실험 실무에 깊숙이 연결됩니다.

✅ 실험을 설계할 때

• 자극은 반드시 신호 vs 잡음 구분 가능해야 함 예: 기억된 vs 새로운 단어, 감정 있는 vs 중립적 문장 등
• 응답은 단순 이진 응답보다 신뢰도 척도 기반이 더 적합 → 다양한 cutoff 생성 가능
• 참가자 수는 충분히 커야 곡선이 안정적으로 형성됨

✅ 분석을 할 때

• cutoff를 바꾸며 다양한 (FPR, TPR) 조합 생성
• ROC 곡선 생성 후 AUC 계산
• AUC 값은 판단력의 종합적 척도로 사용
• AUC 간 차이는 집단 간 판단 전략의 질적 차이를 반영

---

🧠 실험 결과 해석에서 얻는 통찰

AUC 결과해석 시사점

높은 AUC	기준에 관계없이 신호/잡음을 잘 구분함. 판단 전략이 일관되고 효과적
낮은 AUC	판단 기준이 진보적/보수적이든 간에 신호-잡음 구분 자체가 불안정
동일 정답률 but 다른 AUC	정답률은 같지만 판단 전략(기준, 민감도)이 다름 → ROC 분석이 필수

---

✅ 모든 핵심 개념 요약 표

🔹 SDT 기반 판단 개념 요약

항목설명

신호 분포 / 잡음 분포	자극의 분포적 특성
판단 기준 (c)	자극을 “있다/없다”로 판단하는 임계점
민감도 (d′)	신호-잡음 간 분리 정도
Hit / Miss / FA / CR	실제-응답 조합에 따른 네 가지 결과

---

🔹 ROC-AUC 요약

요소의미해석

ROC 곡선	기준 변화에 따른 판단 성능 시각화	판단 전략 전체의 흐름
AUC	ROC 아래 면적	판단 품질의 종합적 지표
0.5 ≤ AUC ≤ 1.0	0.5 = 무작위, 1.0 = 완벽	높을수록 좋은 판단
곡선 모양	왼쪽 위로 휘어짐	신호를 잘 잡고, 잡음은 잘 거르는 전략

---

🧩 왜 ROC-AUC는 심리학에 꼭 필요한가?

• 사람의 판단은 판단 기준의 위치에 따라 정답률이 쉽게 왜곡됩니다.
• ROC-AUC는 그 왜곡을 제거하고, 판단 능력의 본질에 접근할 수 있도록 도와줍니다.
• 특히 기억, 감정, 인지 판단, 위험 평가처럼 불확실성과 혼동이 많은 실험에서AUC는 통합적, 신뢰도 높은 판단 성능 척도가 됩니다.

---

🔚 결론

• ROC-AUC는 단순한 그래프나 수치 그 이상입니다.
• 인간의 판단이 어떤 기준에 따라, 어떤 전략으로 이루어졌는가를 밝히는인지적 진단 도구이자, 실험 설계의 핵심 해석 장치입니다.

앞으로 ROC-AUC를 사용할 때는,

단지 점수를 비교하기 위한 도구가 아니라,

사람의 판단 구조 자체를 이해하기 위한 창(window) 으로 활용하셔야 합니다.

---

1. ROC 곡선은 판단 기준을 변화시키며 얻은 민감도(TPR)와 오판률(FPR)의 관계를 시각화하여 판단 전략을 분석하는 도구입니다.  
2. 단순 정답률은 기준에 따라 왜곡될 수 있으므로, ROC는 판단 기준의 영향을 제거하고 진짜 구분 능력을 평가할 수 있게 해줍니다.  
3. 텍스트 기반 시각화를 통해 기준이 높을수록 점이 좌하단에, 낮을수록 우상단에 위치함을 보여주며 판단 흐름을 명확히 전달합니다.