AGI인공지능연구실

지난번 글에서는 1 ,2 ,3 과정을 배웠으니, 이번 글에서는 이어서 4,5,6 과정을 배워보겠습니다 4. 순정파 과정 ( 과제 2단계 ) 저희는 목차 3에서 매개변수를 초기화했으니, 이제 본격적으로 순전파 단계를 수행할 수 있게 됐습니다. 아래의 1~3 단계 순서로 코딩을 진행하시면 됩니다. 1단계 : Linear ---> 각각의 퍼셉트론마다 들어온 입력값들을 총합하는 과정입니다. 2단계 : Linear --> Activation -----> 총합한 값을 활성화 함수에 입력하는 과정, 활성화 함수는 Relu or sigmoid 3단계 : [Linear -> Relu] * (L-1) --> Linear --> sigmoid ---> 직전 층의 퍼셉트론에서 계산된 각각의 활성화 함수의 값들을 다음 층의 입..

이번 시간에는 7주 차 내용을 마무리하는 프로그래밍 과제를 수행해 보도록 합시다. ​Jupyter Notebook에서 파이썬 코딩을 통해서, 이미지를 분류하는 심층 신경망을 구축하는 과제입니다! ​ 이번 과제를 통해서 저희가 배우는 점은 크게 3가지입니다. ​1 - Relu와 같은 비선형 활성화 함수를 이용하여 모델의 성능을 향상하는 방법 2 - 이전 과제에서 보다 훨씬 더 깊은 신경망을 구축하는 방법 3 - 이용하기 쉬운 신경망을 구축하는 방법 목차 : 1. 패키지 - 요리로 비유하면 재료 및 요리 도구 준비 2. 개요 ​- 요리 레시피 3. 매개변수 초기화 - 요리 재료 손질 4. 순전파 과정 _ 요리하기 5. 손실 계산 - 요리 맛 평가받기 6. 역전파 과정 -요리 맛 개선하기 1. 패키지 일단, ..

이번 시간에는 4주 차 내용을 총정리하는 퀴즈를 풀어보며, 4주 차 강의 내용을 정리하는 시간입니다. ​1~10번까지 차례대로 풀어봅시다. 1번 문제 1번 문제는 "캐시"에 관해 묻는 문제입니다. ​심층 신경망의 역전파 + 순 전파 강의시간에 "Cache"에 관해서 언급됐습니다. ​"Cache"는 활성화 함수의 입력값인 Z [i]를 저장하는 변수로써, 역전파 과정에서 사용하기 위해서 순 전파 과정 중에 저장하는 값이라고 배웠습니다. ​ 즉, 정답은 "2번"입니다. 2번 문제 ​2번 문제는 "하이퍼 파라미터(=하이퍼 매개변수)"에 관한 문제입니다. ​하이퍼 매개변수란, 학습을 통해서 수정되는 W, b와 같은 값이 아니라, 신경망의 크기, 학습률, 히든 레이어의 크기, 반복 횟수, 학습시간 등등 ​사람이 직..

심층 신경망을 효과적으로 개발하려면 매개변수뿐만 아니라 하이퍼 매개변수도 잘 구성해야 합니다. 따라서 이번 시간에는 "하이퍼 매개변수(hyperparameters)"가 무엇인지 살펴보겠습니다 매개변수(parameters) = 가중치 W, 편향 b와 같이 딥러닝 학습을 통해서 기계가 수정하는 값 하이퍼 매개변수(Hyperparameters) = 신경망 층의 개수, 학습률 등등 인간이 직접 설정해 주는 값 하이퍼 매개변수는 학습 반복 횟수, 신경망의 층의 깊이, 학습률, 학습시간, 정규화 매개변수 등등 수많은 종류가 존재합니다. 하이퍼 매개변수의 값에 따라서 학습 성능이나 정확도, 학습 시간, 과적합 문제 등등 정말 많은 것들이 좌지우지되기 때문에, 저희에게 상당히 중요한 변수입니다. 그래서 딥러닝 개발자들..

이번 글에서는 심층 신경망(Deep Neural Network)에서의 "순전파 및 역전파 과정"에 대해서 알아보겠습니다. 일단 "순전파 과정"부터 부터 살펴봅시다. ​참고)) 신경망 안에서의 계산 과정은 " 순전파 ---> 손실 계산 ---> 역전파 " 순서로 이뤄집니다. ​위의 자료는 "순전파 과정"이 이뤄지는 과정을 도식화한 자료입니다. 노란색으로 강조된 오른쪽 부분에서 저희가 기억해야 할 정보는 "Z[l]"입니다. ​ ​왜 이 부분을 기억해야 할 정보라고 하는 걸까요? ​그 이유는 "역전파 과정에서 Z [i]을 필요하기 때문에"입니다. ​저희가 딥러닝의 정확도를 높이기 위해 사용하는 경사 하강법(=역전파 과정)에서 필요로 하는 값은 ​ 1 - 기울기 값을 의미하는 da[l] 2 - 활성화 함수의 입..

코세라 앤드류 응 교수님의 딥러닝 1번째 코스, 신경망 및 딥러닝 코스의 4주 차 강의 내용 리뷰입니다. 이번 글에서는 "딥러닝에서 왜 신경망의 층을 깊게 해서 사용하는지"에 대해서 알아보겠습니다. ---> 신경망의 층을 깊게 해서 학습한다는 말을 "심층 표현"이라고도 합니다. 우리는 딥러닝이 현실의 정말 다양한 문제에 대해서 잘 작동한다는 사실을 알고 있습니다. 그런데, 딥러닝이 그렇게 잘 작동하기 위해서는 신경망이 크고 깊어야합니다. 도대체 왜 그런 걸까요? 몇 가지 예시를 통해서 그 이유에 대해서 알아보겠습니다. 예를 들어서, 딥러닝을 활용한 얼굴인식 시스템이 얼굴인식을 수행하는 과정에 대해서 이야기해보겠습니다. 딥러닝 머신이 얼굴인식을 위해서 1번째로 수행하는 일은 일단 인식할 얼굴을 입력하는 일..

코세라 앤드류 응 교수님의 딥러닝 1번째 코스, 신경망 및 딥러닝 코스의 4주 차 강의 내용 리뷰입니다. 뉴럴 네트워크(Neural Network)에서의 행렬의 크기(Matrix dimensions)에 대해 알아보겠습니다. 저번 시간에 보았던, 딥러닝의 순전파 학습에서의 계산과정입니다 . 저번 시간에는 각 변수들이 어떤 의미를 지녔는지 간략하게 살펴보았다면, 이번에는 변수들의 행렬 크기 ( = 차원 수)를 알아보겠습니다. 하나하나 뜯어보며, 변수들이 어떤 크기를 가졌는지 살펴봅시다. 일단 노란색으로 칠해진 첫 부분부터 살펴보겠습니다. 이 과정에서 이루어진 계산은, Z[i] = W [i] * X + b입니다. 1층의 퍼셉트론의 수가 3개 이고, 입력 데이터 X1, X2가 2개이기 때문에, 가중치 W의 차원..