텐서플로우(파이썬)강의 중 '학습의 실제'에서의 질문

[138dragon]

해결하고자 하는 문제

엑셀에서 값을 넣어 실습을 했지만 정확한 내용을 알고싶어서, 이해한 것이 맞는지 확인하고자 질문 남깁니다.

결국 다음 Weight를 구하는 식이
Wnext = W - dLoss/dW(=dt) * 0.0001(=dt)
인건데 (B도 마찬가지의 방법이라고 이해했습니다.)

예를 들어, dLoss/dW가 양수이면 결국 지금 loss가 이전 loss보다 큰것이니 잘못되었다.
따라서 Wnext값을 지금W보다 줄이기 위해서
Wnext = W - dLoss/dW(=dt) * 0.0001(=dt) 식에서 마이너스가 쓰인것이 맞는건가요?

이 수식이 dLoss>0면 Wnext를 줄여야하고 dLoss<0면 Wnext를 키워야한다는 목적에서 도출된 식인지.
아니면 이 목적이 아니라 어떤 다른 더 복잡한 원리가 있고 이해하는 과정에서 이렇게 이해하면 되는것인지 궁금합니다..

그리고
2.
새로운 W와 B를 입력해준 상태에서 항상 dt, 즉 0.0001을 증가시키는 방향으로 진행이 되는것인지 궁금합니다.

[JeongsangBaek]

1. 이해하신 게 맞는거같네요. 일반적인 선형 모델에서의 cost optimization은 말씀하신대로 이루어집니다.
2. dt의 역할은 learning rate인데요 모델의 학습 속도를 조절하는 역할을 합니다. 모델이 loss가 너무 천천히 줄어들 경우 조금씩 키워보고, loss가 줄어들지 않고 발산하는 경우 조금씩 줄여봅니다.

[JeongsangBaek]

뭐 조금 더 유식한 말로는 Gradient Decent 알고리즘이라고 하는데요, 관련해서 더 자세한 것을 알고 싶으시면 김성훈 교수님의 모두의 딥러닝 추천합니다: 강의 슬라이드

[blackdew]

부호는 가중치의 조절 방향을 결정하는 내용(=dLoss>0면 Wnext를 줄여야하고 dLoss<0면 Wnext를 키워야한다는 목적에서 도출된 것)이고,
dLoss/dW(=dt) * 0.0001(=dt) 수식은 GD 알고리즘의 내용으로 가중치를 얼마나 조정할 것인지를 결정하는 수식입니다.