C01~

• 기능: 모델에 대한 입력
• 예: 학습에 사용되는 입력/출력 쌍
• 라벨: 모델의 출력
• 레이어: 신경망 내에서 함께 연결된 노드 모음입니다.
• 모델: 신경망의 표현
• 고밀도 및 완전 연결(FC): 한 계층의 각 노드는 이전 계층의 각 노드에 연결됩니다.
• 가중치와 편향: 모델의 내부 변수
• 손실: 원하는 출력과 실제 출력 사이의 불일치
• MSE: 평균 제곱 오류. 소수의 큰 불일치를 다수의 작은 불일치보다 더 나쁘게 계산하는 손실 함수 유형입니다.
• Gradient Descent: 내부 변수를 조금씩 변경하여 점차적으로 손실 함수를 줄이는 알고리즘입니다.
• 최적화 프로그램: 경사하강법 알고리즘의 특정 구현입니다. (이를 위한 많은 알고리즘이 있습니다. 이 과정에서는 ADaptive with Momentum을 의미하는 "Adam" 최적화 프로그램만 사용합니다. 이는 모범 사례 최적화 프로그램으로 간주됩니다.)
• 학습률: 경사하강법 중 손실 개선을 위한 '단계 크기'입니다.
• 배치(Batch): 신경망 훈련 중에 사용되는 예제 세트
• Epoch: 전체 교육 데이터 세트에 대한 전체 전달
• 정방향 전달: 입력에서 출력 값을 계산합니다.
• 역전파(역전파): 출력 레이어에서 시작하여 각 레이어를 거쳐 다시 입력까지 작업하는 최적화 알고리즘에 따라 내부 변수 조정을 계산합니다.

References

https://machinelearningmastery.com/adam-optimization-algorithm-for-deep-learning/

https://developers.google.com/machine-learning/crash-course/reducing-loss/video-lecture

손실 줄이기  |  Machine Learning  |  Google for Developers

 

=== C02 ===

ReLU(정류 선형 단위)

이번 강의에서는 ReLU에 대해 설명하고 ReLU가 Dense 계층에 더 많은 기능을 제공하는 방법에 대해 이야기했습니다. ReLU는 Rectified Linear Unit의 약자이며 다음과 같은 수학 함수입니다.

보시다시피, ReLU 함수는 입력이 음수이거나 0이면 0의 출력을 제공하고, 입력이 양수이면 출력은 입력과 같습니다.

ReLU는 네트워크에 비선형 문제를 해결하는 기능을 제공합니다.

섭씨를 화씨로 변환하는 것은 선형 문제입니다. 왜냐하면 f = 1.8*c + 32는 선의 방정식과 형식이 같기 때문입니다 y = m*x + b. 그러나 우리가 해결하려는 대부분의 문제는 비선형적입니다. 이러한 경우 Dense 레이어에 ReLU를 추가하면 문제 해결에 도움이 될 수 있습니다.

ReLU는 일종의 활성화 함수입니다. 이러한 함수에는 여러 가지(ReLU, Sigmoid, tanh, ELU)가 있지만 ReLU가 가장 일반적으로 사용되며 좋은 기본값으로 사용됩니다. ReLU를 포함하는 모델을 구축하고 사용하기 위해 내부를 이해할 필요는 없습니다. 그러나 더 자세히 알고 싶다면 Deep Learning의 ReLU에 대한 이 기사를 참조하세요 .

이번 강의에서 소개된 새로운 용어 중 일부를 검토해 보겠습니다.

• Flattening : 2차원 이미지를 1차원 벡터로 변환하는 과정
• ReLU: 모델이 비선형 문제를 해결할 수 있게 해주는 활성화 함수
• Softmax: 가능한 각 출력 클래스에 대한 확률을 제공하는 함수
• 분류: 두 개 이상의 출력 범주를 구별하는 데 사용되는 기계 학습 모델

https://developers.google.com/machine-learning/crash-course/ml-intro

머신러닝 소개  |  Machine Learning  |  Google for Developers

https://developers.google.com/machine-learning/crash-course/training-and-test-sets/video-lecture