[2일차] AICE 공부인증

[이론편] AI 구현 프로세스

 

데이터를 수집하는 방법

데이터는 '내부 데이터'와 '외부 데이터'로 나뉜다고 함

내부적으로 갖고 있는 데이터를 사용하거나 외부에서 크롤링 등으로 따와야함

 

데이터 전처리하기

데이터는 자료형이 있다.

범주형과 연속형이 있어서 처리 방법이 다르다.

 

범주형의 경우 원핫인코딩이나 레이블인코더를 사용하여 숫자로 바꿔주는 경우가 많다.

 

이상치 탐지

IQR등을 사용하여 처리한다.

(대치 or 삭제)

 

스케일링

데이터는 학습에 좋게 바꿔주는 것이 좋다.

 

훈련

훈련/검증/테스트 데이터를 나누어서 한다. 7/2/1로 한다고 한다.

 

결과평가

여러 가지 지표가 있다고 한다. 그 중에 분류와 회귀에 따라 알맞는 것을 사용하고 1종오류가 위험한 상황과 2종오류가 위험한 상황에 따라 무엇이 더 중요한지를 선택한다

 

하이퍼파라미터 튜닝

결과가 나온 이후에 더 향상을 위해 하이퍼파라미터를 손질할 수 있다.

 

이후 새 데이터가 올 수 있기에 지속적인 모델 업데이트가 필요하다고 한다.