AI, Quant 투자 공부

1. Specialized LLMs: ChatGPT, LaMDA, Galactica, Codex, Sparrow, and More source: https://medium.com/towards-data-science/specialized-llms-chatgpt-lamda-galactica-codex-sparrow-and-more-ccccdd9f666f LLM 동작 개선 Generic LM이 부족한 점 Alignment Domain Specialization LaMDA 모델을 확장하면 대화 품질이 어느 정도 향상되지만 근거나 안전성과 같은 지표는 개선할 수 없음 3가지 원칙 Quality (sensibleness, specificity, interestingness의 평균) sensibleness (doe..

1. Full Stack Optimization of Transformer Inference: a Survey source: https://arxiv.org/pdf/2302.14017.pdf UC Berkeley 저자들이 참여하여 쓴 Survey 논문 주요 내용 Transformer Model Architecture and Performance Bottlenecks HW Design Model Optimization Mapping Transformers To HW 2. LLaMA Test!! Local Machine source: http://rentry.org//llama-tard LLaMA의 weight를 이용하여 Single Card에서 수행할 수 있도록 함 (LLaMA INT8 Inferencde..

1.Mapping the Generative AI landscape source: https://www.antler.co/blog/generative-ai AI vs Generative AI AI는 다양한 기수을 포괄하는 광범위한 용어임 하지만 Generative AI는 새로운 컨텐츠를 만드는데 중점을 둔 특정 유형의 AI임 왜 Gen-AI 존재하나? 새로운 텍스트, 이미지, 음악과 같은 컨텐츠를 만들 수 있음 효율성과 생산성을 향상시킬 수 있음. 컨텐츠 생성을 자동화시켜 시간을 절약 생성된 컨텐츠의 품질을 향상시킬 수 있음 새로운 애플리케이션과 사용을 가능하게 함 Gen-AI revenue models 제품이나 서비스를 개선하는 데 사용할 수 있는 다른 회사나 조직에 기술 라이선스 생성된 이미지, 동영..

1. How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0 source: https://www.semianalysis.com/p/nvidiaopenaitritonpytorch#%C2%A7machine-learning-training-components Pytorch vs Tensorflow Pytorch가 승리한 이유 Pytorch는 eager 모드를 지원 한줄씩 실행하므로 중간 작업의 결과를 보고 모델이 어떻게 동작하는지 확인 가능하여 코드 디버깅이 용이하였음 TF는 graph 모드를 지원 graph 모드는 1) 계산 그래프 정의 2) 계산 그래프 실행으로 동작 실행이 끝날 때까지 무슨 일이 일..

1. A List of the 16 Best ETL Tools And Whay To Choose Them source: https://www.datacamp.com/blog/a-list-of-the-16-best-etl-tools-and-why-to-choose-them What is ETL Exatracting data from sources Transforming data into data models Loading data into data ware houses The Top 16 ETL Tools Data Teams Can Consider Informatica PowerCenter Apache Airflow IBM Infosphere Datastage Oracle Data Integrator Mi..

1.LLMs and them Emerging ML Tech Stack source: https://medium.com/@brian_90925/llms-and-the-emerging-ml-tech-stack-6fa66ee4561a 기존 NLP 기술 스택 구성요소 데이터 전처리 파이프라인 기계 학습 파이프라인 임베딩 및 구조화된 데이터를 저장하는 다양한 데이터베이스 새로운 문서 레이아웃 및 데이터 유형에 취약한 단점 Emerging LLM 기술 스택 구성요소 데이터 전처리 파이프라인 임베딩 엔드 포인트 + 벡터 저장소 LLM 엔드포인트 LLM 프로그래밍 프레임워크 기존 기술 스택과 차이점 구조화된 데이터를 저장하는 지식 그래프에 의존하지 않음 Custom built ML pipline이 아닌 기존 LLM 엔..

1.대한민국 초거대 AI 시대를 열어가기 위한 AI 반도체 기술(2/10) 이동수 이사 (네이버 클라우드 AI) 발표 전체적으로 AI 추론은 메모리 문제가 커질 것으로 전망함 삼성(메모리) + NAVER AI 반도체 공동개발 중 → HyperCLOVA에 최적화된 AI 반도체 솔루션 개발 ChatGPT 서비스의 문제 Sam Altman Said "Average is probably single-digits cents per chat" Transformer는 MM이 전부임 경량화 알고리즘이 중요함 GPT 계열의 특성 입력 처리 (Computation-intensive) 출력 처리 (Memory-intensive) Why? GPT는 Autoregressive LM 이기 때문임 The End of SRAM Sc..