2023/03/31: Generative AI의 역사

1. A Comprehensive Survey of AI-Generated Content (AIGC): A History of Generative AI from GAN to ChatGPT

source: https://arxiv.org/pdf/2303.04226.pdf

2. Brdging the Gap: AI Research and Real-World Deployment in AI companies

source: https://speakerdeck.com/shurain/bridging-the-gap-ai-research-and-real-world-deployment-in-ai-companies

3. Building Large Language Model at Scale

source: https://speakerdeck.com/inureyes/building-large-language-model-at-scale

4. Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback∗

source: https://arxiv.org/pdf/2302.12813.pdf

5. COLT5: Faster Long-Range Transformers with Conditional Computation

source: https://arxiv.org/pdf/2303.09752.pdf

6. 2023 AI 연구원 겨울 콜로키움 딥러닝 언어모델과 확률적 앵무새

• 가추 추론: abductive reasoning (If you hear hooves, think horse, not zebra.)
  • 추론
    • 이미 알고있는 정보로부터 논리적 결론을 도출하는 행위 또는 과정
      • 어떠한 판단을 근거로 삼아 다른 판단을 이끌어 내는 것
      • 특정한 명제에서 다른 명제를 이끌어내는 과정
  • 가설적 추론
    • (놀라운) 현상이나 사건을 가장 잘 설명할 것 같은 가설을 선택하는 방법
    • 주어진 사실로부터 시작해서 가장 그럴 듯한 최선의 설명을 도출
    • 의식하지 못하지만 일상 생활에서 가장 많이 사용하는 추론 방식
• 인간의 사고 패턴을 모방할 수 있는가?
  • 가설을 도입하기 위한 예비 추정
    • 연역법과 귀납법에 전제되는 가설들은 추론에 앞서 선험적으로 존재하는 것이 아니므로, 현사을 탐구하고 추론하는 과정에서 가설의 형성 단계를 간과할 수 없다.
    • 가추 추론은 모든 탐구의 가장 첫번째 단계에 해당한다.
  • 인간 뇌 동작의 고유 특성
    • 몇 번의 시도 만에 가장 그럴듯한 가서를 제시할 수 있는 인간의 능력은 진화의 과정에서 파생되었다.
    • 가추추론 능력은 인간의 지성이 자연법의 이해와 설명에 특별히 적응된 결과물이다.
• 언어 모델의 성능 개선
  • 일반적 접근
    • 학습 데이터
      • 인공 주석물 (Annotation artifacts)
    • 평가 데이터
      • 적대적 사례 (Adversarial examples)
  • 구체적 접근
    • language-specific
      • 한국어에 특화된 접근(토크나이저)
    • Domain-specific
      • 의료/법률 언어모델