[DL] 딥러닝의 작동 원리 - 가중치, 손실함수, 옵티마이저를 중심으로

딥러닝 작동 원리

---

딥러닝의 작동 원리 - 가중치, 손실함수, 옵티마이저를 중심으로

---

들어가며

---

딥러닝은 사람의 뇌처럼 데이터를 학습하고 패턴을 인식하는 인공지능 기술입니다. 스마트폰 얼굴 인식 기능, 영화나 음악 추천 시스템, 그리고 자율주행차의 안전한 주행 모두 딥러닝의 기술이 이뤄낸 결과입니다.

이 글에서는 딥러닝의 작동 원리에 대해 3개의 그림으로 설명합니다.

---

• 딥러닝의 개념
• 딥러닝의 작동 원리

---

딥러닝의 개념

---

딥러닝(Deep Learning)은 인공신경망(Artificial Neural Networks, ANN)을 기반으로 하는 머신러닝의 한 분야로, 인간의 뇌가 정보를 처리하는 방식을 모방한 알고리즘입니다. 특히 다층 신경망을 활용하여 데이터의 추상적인 특성(Feature)을 자동으로 학습하며, 복잡한 패턴을 인식하고 분석하는 데 강력한 성능을 보여줍니다.

---

딥러닝의 작동 원리

---

딥러닝의 작동 원리를 그림 3개로 표현합니다. 다음의 그림 3개를 이해한다면, 딥러닝의 틀은 완성됐습니다. 그림 3개는 각각 가중치, 손실 함수, 옵티마이저를 주제로 설명합니다. 

---

Step 1. 가중치

아래 그림처럼 입력 값인 X와 예측 값인 Y'이 있다고 가정하겠습니다.

딥러닝으로 X를 Y'로 처리하는 과정에는 아래와 같이 '층'이 존재합니다. 이 '층'에서 입력 값 X가 가중치를 통한 변환이 발생합니다. 따라서, 학습은 입력 값을 예측 값에 매핑하기 위한 정확한 가중치 값을 찾는 것입니다.

가중치

---

Step 2. 손실 함수

정답과 가장 유사한 예측 값을 찾기 위해서는 예측 값이 정답과 얼마나 벗어났는지 측정해야 합니다. 이 측정을 신경망의 '손실 함수'가 담당합니다.

입력 값 X에 대해 얼마나 잘 예측했는지를 측정하기 위해 손실 함수가 신경망의 예측 Y'와 정답 Y의 차이를 손실 점수로 계산합니다.

손실 함수

---

Step 3. 옵티마이저

기본적인 딥러닝 방식은 손실 점수가 감소되도록 가중치 값을 조금씩 수정하는 것입니다. 그리고 이 수정 과정을 '옵티마이저'가 담당합니다.

옵티마이저

---

위의 과정을 수행할 때, 초기에는 가중치가 랜덤한 값으로 할당되기 때문에 예측 값과 정답은 거리가 멀어지고, 손실 점수가 매우 높을 것입니다.

하지만, 위의 과정을 반복하며 가중치가 조금씩 올바른 방향으로 조정되고 손실 점수가 감소합니다. 이를, 훈련 반복(Epoch)라고 합니다. 충분한 횟수만큼 수 십번 반복하면 손실 함수를 최소화하는 가중치 값을 산출합니다.

이러한 과정을 통해 첫 번째 그림에서 정했던 딥러닝의 목표인 '정확한 가중치 값을 찾는 것'을 완성합니다.

---