여러 층의 NN을 구현하다보니 문득 궁금해졌다. Layer수를 늘리는 것과 각 Layer에서 Neuron의 수를 늘리는 것, 그 차이는 어떻게 나는 것일까? 당연한 결론부터 말하자면, 두 Hyperparameter는 모두 고차원의 학습을 한다는 것이다. 자세한 비교는 다음과 같다. 레이어 수 증가특성 학습 수준: 깊은 네트워크는 데이터의 고수준 특성을 학습할 수 있음.학습 복잡도: 더 많은 레이어는 학습이 어려워질 수 있고, 기울기 소실/폭발 문제를 일으킬 수 있음.계산 비용: 레이어 수가 많아지면 계산량이 증가하여 훈련 시간이 길어지고 메모리 사용량이 늘어남.뉴런 수 증가모델 용량: 각 레이어에서 더 많은 뉴런은 더 많은 특성과 패턴을 학습할 수 있게 함.과적합 위험: 뉴런 수가 많아지면 과적합 위험이..
