Alex Han: Coding Explorer

먼저 읽어보기Upstage는 다양한 종류의 API를 제공하며, 이 중 Chat API를 중심으로 설명을 다루려고 한다. 그 외에도 텍스트 임베딩, 번역, 레이아웃 분석, 주요 정보 추출 등 여러 기능이 있으나 이 장에서는 프롬프트의 기본 구성에 대해 배우고 Chat API를 사용하여 효율적인 채팅 응답을 생성하는 방법에 대해 설명한다. https://jyhan0625.tistory.com/90 [Solar] 0. Solar AI 사용해보기먼저 읽어보기AI 기술이 발전함에 따라 다양한 대형 언어 모델(LLM)이 등장하고 있다. 이번 글에서는 Upstage에서 개발한 Solar AI를 사용해보는 방법을 소개한다. 특히 Solar Pro 모델을 활용하여 기jyhan0625.tistory.com https://..

LangChain은 대규모 언어 모델(LLM) 기반 애플리케이션을 쉽게 개발할 수 있도록 돕는 오픈소스 프레임워크이다. 주로 OpenAI, Hugging Face, Cohere 등의 LLM API를 활용하여 문서 처리, 질문 응답, 체인형 워크플로우 구성 등의 기능을 구현할 때 사용된다.   1. LangChain의 주요 개념LangChain은 다음과 같은 주요 개념으로 구성된다. 1) LLM (Large Language Models) • OpenAI GPT-4, Hugging Face Transformers, Claude 같은 다양한 언어 모델을 사용할 수 있도록 지원한다. • from langchain.llms import OpenAI 같은 방식으로 쉽게 LLM을 호출할 수 있다. 2) 프롬프트 템플..

우도(likelihood)는 주어진 데이터가 특정한 모델을 따를 가능성, 즉 “이 모델(또는 파라미터)이 주어진 데이터를 얼마나 잘 설명하는가”를 측정하는 개념입니다. 예를 들어 로지스틱 회귀 문제를 통해 쉽게 설명해 보겠습니다. 예시: 로지스틱 회귀 문제에서의 우도 로지스틱 회귀는 특정 사건이 발생할 확률을 예측하는 모델입니다. 예를 들어, 어떤 학생이 시험에 합격할지 여부를 예측한다고 가정해 봅시다. 이 예측은 학생의 공부 시간에 따라 달라질 수 있습니다. 우도의 의미  1. 모델이 예측한 확률: 로지스틱 회귀 모델은 공부 시간이 x일 때 합격할 확률을 P(y=1 | x)로 예측합니다. 이때 y=1은 합격을 의미하고, x는 공부 시간입니다. 2. 실제 결과와 비교: 예를 들어, 실제로 한 학생이 5시..

LLM API에서 스트리밍(streaming)과 비스트리밍(non-streaming, blocking)의 차이는 주로 응답을 제공하는 방식과 그에 따른 사용자 경험에 있습니다. 이 두 가지 접근 방식은 데이터를 클라이언트에 전달하는 방법과 시점에서 차이가 있습니다.1. 스트리밍(Streaming)스트리밍 방식은 응답을 실시간으로, 점진적으로 전송하는 방식입니다. LLM API가 텍스트를 생성할 때, 부분적으로 생성된 텍스트를 클라이언트에게 즉시 전송합니다. 이를 통해 사용자는 전체 응답이 준비될 때까지 기다리지 않고, 생성된 텍스트를 즉시 볼 수 있습니다.특징:실시간 피드백: 사용자는 응답이 준비되는 대로 실시간으로 결과를 받습니다. 예를 들어, 긴 텍스트 생성이 필요할 때 스트리밍 방식은 사용자가 전체..

모델 Quantization의 이점 모델 크기 축소: 양자화를 통해 모델의 가중치와 활성화 값을 더 작은 비트로 표현할 수 있습니다. 이는 모델 파일 크기를 줄이고 저장 공간을 절약하는 데 도움이 됩니다. 예를 들어, 32비트 부동 소수점(float)을 8비트 정수(int)로 양자화하면 모델 크기를 약 4배 줄일 수 있습니다.메모리 사용 감소: 양자화된 모델은 메모리 사용량을 줄입니다. 이는 특히 메모리 제약이 있는 모바일 기기나 임베디드 시스템에서 중요합니다. 메모리 사용량 감소는 더 큰 모델을 로드하거나 더 많은 데이터를 처리할 수 있게 합니다.추론 속도 향상: 양자화된 모델은 더 적은 비트로 연산을 수행하기 때문에 추론 속도가 빨라질 수 있습니다. 이는 CPU나 GPU에서의 연산 속도를 높이는 데 ..

먼저 Word embedding의 특성을 떠올려보자.워드 임베딩의 강점 1. 의미적 유사성 반영: • Word Embedding은 단어를 벡터 공간에 매핑하여, 의미적으로 유사한 단어들이 가까운 위치에 배치되도록 학습됩니다. 예를 들어, “king”과 “queen”, “Paris”와 “France” 같은 단어 쌍은 유사한 의미 관계를 가지기 때문에 벡터 공간에서도 가까운 위치에 있게 됩니다. 2. 유사 단어 탐색: • 특정 단어에 대해 유사한 의미를 가진 다른 단어들을 쉽게 찾을 수 있습니다. 이는 시소러스 구축이나 어휘 확장 작업에 매우 유용합니다. 3. 단어 관계 학습: • Word Embedding은 단어 간의 다양한 관계를 학습할 수 있습니다. 예를 들어, “man”과 “woman”의 관계는 “k..

CNN의 구조는 기본적으로 Convolution 연산 후 Pooling 연산의 반복과정으로 이루어진다. 그렇다면 Convolution의 의미와 Pooling의 의미는 무엇일까? 계산 방법을 안다고 전제하여 과연 각 Layer에서 어떤 일이 일어나고 있는지 알아보자 1. Convolution 단계필터(또는 커널)를 사용하여 Convolution 연산을 진행하는 것은 입력 이미지의 윤곽선, 모서리, 질감과 같은 특징을 추출하는 과정입니다. Convolution 연산은 필터를 이미지의 각 부분에 적용하여 특정 패턴을 감지하는 역할을 합니다. 이 과정에서 필터는 이미지의 작은 부분과 연산을 통해 특징 맵(feature map)을 생성합니다. 다양한 필터를 사용하면 각각의 필터가 다른 특징을 감지하게 되어, 예를..

여러 층의 NN을 구현하다보니 문득 궁금해졌다. Layer수를 늘리는 것과 각 Layer에서 Neuron의 수를 늘리는 것, 그 차이는 어떻게 나는 것일까? 당연한 결론부터 말하자면, 두 Hyperparameter는 모두 고차원의 학습을 한다는 것이다. 자세한 비교는 다음과 같다. 레이어 수 증가특성 학습 수준: 깊은 네트워크는 데이터의 고수준 특성을 학습할 수 있음.학습 복잡도: 더 많은 레이어는 학습이 어려워질 수 있고, 기울기 소실/폭발 문제를 일으킬 수 있음.계산 비용: 레이어 수가 많아지면 계산량이 증가하여 훈련 시간이 길어지고 메모리 사용량이 늘어남.뉴런 수 증가모델 용량: 각 레이어에서 더 많은 뉴런은 더 많은 특성과 패턴을 학습할 수 있게 함.과적합 위험: 뉴런 수가 많아지면 과적합 위험이..

The words "kernel" and "filter" are used to refer to the same thing. The word "filter" accounts for the amount of "kernels" that will be used in a single convolution layer. 즉, filter는 kernel의 집합이다. kernel의 수는 filter의 채널 수와 동일하다.

선형 모델"모델이 linear하다"는 표현은 모델의 구조가 순차적이고 레이어가 직선 형태로 연결되어 있다는 의미입니다. 이는 각 레이어가 이전 레이어의 출력만을 입력으로 받아 다음 레이어에 전달하는 방식입니다. 선형 모델은 주로 회귀(Regression)와 분류(Classification) 문제에서 사용됩니다. 즉, 1-input, 1-output 관계가 성립 (x, y) 비선형 모델선형 모델과 반대로 입력 변수가 여러 개이거나 출력 변수가 여러 개이거나, 또는 입력과 출력 사이의 관계가 직선 형태가 아닌 경우에는 비선형 모델로 분류될 수 있습니다. 일반적으로 1개의 입력 변수와 1개의 출력 변수가 직선 형태로 연결된 경우를 선형 모델로 간주하고, 그 외의 경우는 비선형 모델로 간주할 수 있습니다. 이는..