Machine Learning의 하나인 전이 학습 (Transfer Learning)에 대해 알아보겠습니다.
1. 전이학습 (Transfer Learning)
하나의 문제를 해결하고 다른 관련 문제에 적용하면서 얻은 지식을 저장하는 데 중점을 둡니다
이미지넷과 같이 아주 큰 데이터셋에 훈련된 모델의 가중치를 가지고 와서 우리가 해결하고자 하는
과제에 맞게 재보정해서 사용하는 것을 의미합니다.
쉽게 말하면 자동차를 인식하는 가중치를 이용해서 버스를 구분해내는 문제에 활용하거나
고양이를 구분하는 가중치를 이용해서 호랭이를 구분해내게 하는 것을 말한다.
왜 이런 학습방법이 생겨났느냐에 대해서는 아무래도 현실적인 문제가 큰 영향으로 볼 수 있다.
우리가 알고 있는 머신러닝, 딥러닝은 고사양의 기기에서 이루어졌다.
하지만 인공지능 기술의 확산과 함께 지능형 기기들의 다양한 산업적 응용을 위해서는 경량 디바이스, 모바일 디바이스,
IoT 센서와 같이 저전력과 저사양의 기기에서도 딥러닝 알고리즘과 모델이 구동되어야 하는 문제가 있습니다.
그리고 일반적으로 CNN기반의 딥러닝 모델을 제대로 훈련시키려면 많은 수의 데이터가 필요합니다.
하지만 충분히 큰 데이터셋을 얻는 것은 돈이 많이 들거나, 시간이 많이 드는 문제 또한 있습니다.
이러한 문제들을 해결하기 위한 하나의 방안으로 전이 학습을 볼 수 있습니다.
2. 전이 학습의 장점
위의 그림과 같이 기존의 pretrained 된 Layer에서의 가중치를 이용하는 방법으로
이 방법을 이용하면 데이터의 부족을 해소할 수 있을 뿐 아니라 학습에 필요한 시간을 단축시킬 수 있는 장점이 있다.
전이 학습은 다른 도메인 영역에서 미리 만들어진 모델을 잘 활용하는 것이 관건이며,
이에 따라 다른 경우에 비해 초기에 빠른 학습을 시작할 수 있습니다.
또한, 학습의 향상도가 좀 더 가파르게 상승하며, 다른 경우에 비해 좀 더 높은 수준에서 학습 결과가 수렴됩니다.
3. 동향
엔비디아(NVIDIA)에서는 최근 사전 학습된 모델과 전이학습 기법을 쉽게 활용할 수 있도록
TLT(Transfer Learning Toolkit)를 출시하였다
사전 훈련된 모델과 Transfer Learning Toolkit 3.0 (개발자 프리뷰)의
주요 기능
- 사전 훈련된 신규 비전 AI 모델: 차량 번호판 감지 및 인식, 심박수 모니터링, 제스처 인식, 시선 추정, 감정 인식, 얼굴 인식, 얼굴의 특징점 추정
- 자동 음성 인식(ASR) 및 자연어 처리(NLP)를 위한 사전 훈련된 모델로 대화형 AI 사용 사례 지원
- EfficientNet, YoloV4, UNET 등의 인기 네트워크 아키텍처로 훈련 선택
- 앉아 있는 사람, 회전하거나 휘어진 물체 등의 까다로운 상황을 인식하는 향상된 PeopleNet 모델
- 호환되는 컨테이너의 초기화를 위한 Transfer Learning Toolkit 런처
- 성능 향상을 위한 3세대 텐서 코어를 갖춘 NVIDIA Ampere GPU 지원
============================================================================
