2023/03/07: Specialized LLMs, Prompt Engineering 등

1. Specialized LLMs: ChatGPT, LaMDA, Galactica, Codex, Sparrow, and More

source: https://medium.com/towards-data-science/specialized-llms-chatgpt-lamda-galactica-codex-sparrow-and-more-ccccdd9f666f

LLM 동작 개선

Generic LM이 부족한 점

• Alignment
• Domain Specialization

LaMDA

• 모델을 확장하면 대화 품질이 어느 정도 향상되지만 근거나 안전성과 같은 지표는 개선할 수 없음
• 3가지 원칙
  • Quality (sensibleness, specificity, interestingness의 평균)
    • sensibleness (does the model make sense and not contradict earlier dialog?),
    • specificity (is the model’s response specific to the given context?)
    • interestingness (does the model’s response capture the reader’s attention or arouse curiosity?).
  • Safety
    • ability to avoid unintended or harmful results that contradict objectives derived from the Google AI Principles.
  • Groundedness
    • producing responses that are factually correct and can be associated with authoritative, external sources.

Sparrow

• Sparrow는 700억 개의 매개변수인 Chinchilla 모델(DPC라고 하는 대화 프롬프트 Chinchilla 또는 DPC라고 함)을 사용하여 초기화됨
• 온라인에서 증거를 찾기 위해 Sparrow는 "Search Query:" 문자열 다음에 텍스트 검색 쿼리를 출력하는 방법을 배움
• 그런 다음 Google에서 이 쿼리에 대한 응답을 검색하고 필터링하여 검색 결과를 얻습니다.

2. Prompt Engineering Guide

source: https://github.com/dair-ai/Prompt-Engineering-Guide?fbclid=IwAR3zJg1sywwkMGpXwp-JauFnP3-Av02uXE_wC81NiRUveBi5dXSsy-xrguU

• 프롬프트만 잘 작성하면 원하는 결과물을 얻을 수 있음

3. 프롬프트 엔지니어링과 인젝션: 새로운 IP 훔치기

source: https://medium.com/coxwave%EB%B8%94%EB%A1%9C%EA%B7%B8/%ED%94%84%EB%A1%AC%ED%94%84%ED%8A%B8-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EB%A7%81%EA%B3%BC-%EC%9D%B8%EC%A0%9D%EC%85%98-%EC%83%88%EB%A1%9C%EC%9A%B4-ip-%ED%9B%94%EC%B9%98%EA%B8%B0-43588bde9c92

• 프롬프트를 얼마나 잘 썼느냐에 따라 생성된 출력 결과물의 품질이 결정됨
• 프롬프트 Injection은 해결해야 할 숙제임

4. ChatGPT 업무효율화 가이드

source: https://jehyunlee.github.io/2023/02/15/Python-General-16-chatgpt/

• 보고서 작성 OK
• 새로운 아이디어 탐색 OK
• 같은 내용을 다른 어조로 변화 OK
• 단락을 요약하거나 번역하기 OK
• 표 해석하기 OK
• 나머지 NOT OK (검증 필수)

5. Language Models: GPT and GPT-2

source: https://towardsdatascience.com/language-models-gpt-and-gpt-2-8bdb9867c50a?source=user_profile---------6----------------------------

• 모든 app을 위해 새로운 모델을 학습하는 것보다 Single LM을 학습하여 다양한 문제를 풀도록 하는 것이 더 유용함

6. The 2023 edition of the Machine Learning, AI and Data Landscape — a quick analysis

• https://towardsdatascience.com/specialized-llms-chatgpt-lamda-galactica-codex-sparrow-and-more-ccccdd9f666f