AI 학습에서 주요 키워드

AI를 공부하면서 만나게 되는 주요 키워드의 개념을 간단히 정리해보았다.

 

---

확증적 데이터 분석(CDA)와 탐색적 데이터 분석(EDA)의 정의와 차이점

CDA는 가설을 세운 후에 이를 데이터를 통해 검증하는 방식이고, EDA는 데이터를 우선 살펴보면서 인사이트를 도출하는 방식이다.
즉 CDA는 내가 이미 가지고 있는 인사이트나 가설을 검증하기 위한 목표를 가지고 데이터를 분석하며, EDA는 이러한 인사이트를 얻기 위해서 데이터를 선입견 없이 유연하게 탐색해본다는 차이점이 있다.

---

Discriminative model과 Generative model의 개념과 차이점

• discriminative model
  데이터 𝑋가 주어졌을 때 레이블 𝑌가 나타날 조건부확률 𝑝(𝑌|𝑋)를 직접적으로 반환하는 모델을 가리킨다. 레이블 정보가 있어야 하기 때문에 지도학습(supervised learning) 범주에 속하며 𝑋의 레이블을 잘 구분하는 결정경계(decision boundary)를 학습하는 것이 목표가 된다.
• generative model
  범주의 분포(distribution)을 학습하는 것이 목표이며, 다음의 과정으로 이루어진다.
  먼저 특정 입력 값x에 대한 조건부 확률 분포를 만들고, 이에 근거하여 input인 x와 output(label)인 y로 벡터를 만든다. x값들의 성질(즉 결과값인 y값)이 0인 것들과 1인 것들을 잘 구분할 수 있는 선(decision boundary)을 만들고, 새로운 데이터(x')가 입력되었을 때, 선으로부터 음 혹은 양의 방향으로의 거리를 재어 확률을 구한다. 레이블 정보가 있어도 되고, 없어도 구축할 수 있으며 전자는 지도학습기반, 후자는 비지도 학습 기반의 generative model이다.

---

Stochastic Gradient Descent(경사하강법)이란?

경사하강법은 함수의 값이 낮아지는 방향으로 각 독립변수들의 값을 변형시키면서 함수가 최소값을 갖도록 하는 독립변수의 값을 탐색 방법을 의미한다. 일반적으로 입력된 Parameter의 검증(Validation)이 필요할 때 사용한다.

---

전이 학습(Transfer learning), 사전 학습(Pre-training), 미세 조정(Fine-tuning) 이란?

• 전이 학습은 한 작업에 대해 훈련된 모델을 사용해 유사한 작업을 수행하는 모델의 기초로 활용하는 딥러닝 접근법이다. 즉 원하는 Task(문제)를 해결하기 위해 다른 모델 학습에서 얻은 정보를 활용하는 방식이다. 전이학습에서 사전 훈련된 모델은 작업, 특성, 가중치 및 기능에 대한 기본적인 지식을 유지하므로 새로운 작업에 작은 데이터 셋과 더 적은 리소스를 사용하면서도 어 나은 결과를 얻을 수 있다.
• 사전학습은 대량의 데이터셋에서 모델을 학습시켜 데이터의 패턴과 특징을 파악하고 일반화 능력을 키우는 것으로, 전이학습에서 원하는 Task에 그 모델을 적용하기 위한 과정이다. 데이터양이 절대적으로 적은 상황에서 사용하는 기법이다.
• 미세 조정은 사전 학습한 모든 가중치와 더불어 Downstream task를 위한 최소한의 가중치를 추가해서 모델을 추가로 학습하는 방법이다.

---

AI분야에서 연구되고 있는 자연언어처리(NLP) task와 컴퓨터비전(CV) task는?

• NLP : 감정 분석, 질문에 대한 답변 추출(생성), 입력받은 텍스트를 요약 또는 다른 언어로 번역.
• CV : Classification, Object Detection, Segmentation, Pose estimation

 

---

Reference

discriminative vs generative_1
discriminative vs generative_2

전이학습
Pretrainig_1
Pretrainig_2
Pretrainig_3