2023/06/22: Generative AI 등

1. Generative AI - Document Retrieval and Question Answering with LLMs

source: https://medium.com/google-cloud/generative-ai-document-retrieval-and-question-answering-with-llms-2b0fb80ae76d

• Fine-tuning vs Indexing
  • New Documents
    • Fine-tuning은 몇 시간이 걸리는 반면, Indexing은 실시간으로 이용할 수 있다.
  • Context Size Limiation
    • 대부분의 LLM은 4K 토큰만을 허용하므로 많은 양의 데이터를 제공할 수 없음.
    • Indexing 접근 방식을 사용하면 관련 문서와 유사한 문서를 검색. LLM은 무제한 데이터에 의존할 수 있음
  • Restricted Documents
    • Fine-tuning은 문서에 대한 접근 제한을 할 수 없으나, Indexing은 런타임에서 필터링이 가능함
  • Cheaper
    • Fine-tuning을 하지 않으므로 더 쌈
  • Halluciation
    • prompt engineering과 결합하면 환각을 피할 수 있음

2. Generative AI - Mastering the Language Model Parameters for Better Outputs

source: https://medium.com/google-cloud/generative-ai-mastering-the-language-model-parameters-for-better-outputs-a82b07b4e383

• Temperature: 모델 응답의 무작위성에 영향을 줌
  • temperature = 1.0: 더 다양하고 창의적인 응답을 생성하지만 예측하기 여려움
  • temperature = 0.0: 더 결정적이고 신뢰할 수 있지만 창의성이 떨어짐