Alex Han: Coding Explorer

여러 층의 NN을 구현하다보니 문득 궁금해졌다. Layer수를 늘리는 것과 각 Layer에서 Neuron의 수를 늘리는 것, 그 차이는 어떻게 나는 것일까? 당연한 결론부터 말하자면, 두 Hyperparameter는 모두 고차원의 학습을 한다는 것이다. 자세한 비교는 다음과 같다. 레이어 수 증가특성 학습 수준: 깊은 네트워크는 데이터의 고수준 특성을 학습할 수 있음.학습 복잡도: 더 많은 레이어는 학습이 어려워질 수 있고, 기울기 소실/폭발 문제를 일으킬 수 있음.계산 비용: 레이어 수가 많아지면 계산량이 증가하여 훈련 시간이 길어지고 메모리 사용량이 늘어남.뉴런 수 증가모델 용량: 각 레이어에서 더 많은 뉴런은 더 많은 특성과 패턴을 학습할 수 있게 함.과적합 위험: 뉴런 수가 많아지면 과적합 위험이..

Kaggle에서 Getting Started로 주어지는 모델이 Random Forest이다. 그리고 보다시피,  그 정확도는 약 77%이다. 요즘 나는 나만의 NN을 구현하여 저 랜덤포레스트의 정확도를 이기고자 고군분투 중이다.그리고 결국 오늘로 하여금, 4-Inputs 4-Layer NN with Adam으로 아주 간발의 차로 패배의 맛을 다시 한 번 보았다. 정확도가 상승한 것도 뿌듯하지만, 어제까지는 Parameter부터 뉴런들까지 수작업으로 구현한 것에 비해 오늘은 Functional API로 훨씬 쉽고 빠르게 구현해봤고 Tensorflow에 익숙해지는 것에 뿌듯한 것이 크다. 그렇지만, 소수점자릿수로 랜덤포레스트한테 패배한게 너무 씁슬하다. 그러다가 갑자기 이런 생각이 떠올랐다. 앙상블 기법인 ..