모델 Quantization의 이점 모델 크기 축소: 양자화를 통해 모델의 가중치와 활성화 값을 더 작은 비트로 표현할 수 있습니다. 이는 모델 파일 크기를 줄이고 저장 공간을 절약하는 데 도움이 됩니다. 예를 들어, 32비트 부동 소수점(float)을 8비트 정수(int)로 양자화하면 모델 크기를 약 4배 줄일 수 있습니다.메모리 사용 감소: 양자화된 모델은 메모리 사용량을 줄입니다. 이는 특히 메모리 제약이 있는 모바일 기기나 임베디드 시스템에서 중요합니다. 메모리 사용량 감소는 더 큰 모델을 로드하거나 더 많은 데이터를 처리할 수 있게 합니다.추론 속도 향상: 양자화된 모델은 더 적은 비트로 연산을 수행하기 때문에 추론 속도가 빨라질 수 있습니다. 이는 CPU나 GPU에서의 연산 속도를 높이는 데 ..
