[3-4일차 LLM 기본 개념과 매개변수/ 프롬프트 엔지니어링 기초]

[ 3일차 2.4~2.6절 (28p~43p)]

 

프롬포트 예제 페이지에서 하나를 선택해서 들어오면 예제 프롬포트가 채워진 상태로 playground 페이지가 열려있는걸 확인할 수 있다. 

 

 

run버튼을 누름으로써 쉽게 문법을 정정할 수 있다. 

 

 

토큰 

• 텍스트를 이루는 작은 단위 (한 단어, 한 글자가 될 수도 있고 토큰 두 개가 모여서 한 글자가 되기도 함)
• 텍스트를 더 작은 구성 요소로 나누는 단위
• 토큰화 과정을 통해 텍스트 데이터 분석하거나 언어 모델 훈련할 때 데이터를 처리하기 쉬운 형태로 변환
• 토큰화 방법
  • 공백 기준
  • 문자 단위 , 형태소 단위
  • titoken이라는 토큰화기를 사용하는데 tokenizer를 사용해 텍스트를 토큰이 구분되는지를 확인 가능
• 많은 토큰을 처리하면 응답도 느려짐 

 

 

Temperature

• temperature는 1이 기본 값
• 0에 가까울수록 결정적인 대답
• 온도를 높이면 무작위성이 높아져서 창의적으로 보인다

temperature = 1.0 일 때

 

 

temperature = 0.2 일 때

Stop Sequences 

• 문장을 생성해 나가다가 특정 문구가 나오면 종료 가능

 

Top P

• 다음 번에 나올 수 있는 토큰 중 어느 것을 선택할 지를 무작위 선택
• Top p =1 : 선택 가능한 모든 토큰을 고려 
• Top P = 0.5 : 발생확률이 높은 것부터 누적해서 50%안에 드는 토큰 고려
• Top P가 작으면 단어 선택의 폭이 좁아짐

 

Frequency penalty

• 값을 높게 설정하면 모델이 같은 문장이나 표현을 그대로 반복하는 걸 억제 => 텍스트 내에서 같은 단어나 구문이 재사용 되는 것을 줄일 수 있음

Presence penalty

• 값을 높게 설정하면 모델이 기존의 주제나 단어를 피하고 새로운 주제나 내용에 대해 언급 가능성 증가 => 새로운 주제로 넘어가는 걸 장려

=> 텍스트 생성 시 반복을 줄이고, 창의적 콘텐츠 생성 가능

 

 

[4일차 3.1~3.4절 (72p~81p)]

 

• LLM은 동일한 입력을 받아도 매번 출력이 달라짐
• 모델의 특성과 매개변수, 사용한 언어의 영향을 받음 
• 간단한/구체적인 프롬프트에 따라 결과가 달라짐
• 문장의 어조(직설적 / 완곡하게) 에 따라 결과가 달라짐
• 부정문보다 긍정문을 사용하는 것이 효과가 크다 

 

=> 문맥 내 학습 : 그동안 주고받은 대화 내용을 참고해서 답함

 

✔️모호한 지시와 구체적인 지시 한 쌍 작성 및 결과 비교

모호한 지시

 

구체적 지시