날짜

시간

내용

1일차: LLM(Large Language Model) 소개 및 기초 학습 (6H)

25. 1. 15.

09:30 ~ 10:00

등록

10:00 ~ 12:00

- 오프닝 (인사말, 단체사진 등)

- LLM(Large Language Model) 및 활용 사례 소개

· 언어 모델의 역사 및 발전 과정

· 거대 언어 모델의 개념 설명

12:00 ~ 13:00

점심

13:00 ~ 15:00

- Fine Tuning의 개념

· Fine Tuning의 개념 설명

· Fine Tuning의 기법 발전 과정

- 주요 학습 기법 소개

· SFT(Instruction-based Fine Tuning), DPO(Direct Preferen Optimization) 기법 소개

· LLM 학습 시 고려해야 할 주요 이슈

15:00 ~ 17:00

- LLM 학습에 사용되는 데이터셋 및 전처리 방법

· train, validation, test 데이터의 의미와 역할 정의

· 데이터셋 샘플링 방법

- 허깅페이스 및 공개된 대표 데이터셋 공유

· Hugging Face에서 제공하는 데이터셋 활용법

· LLM Fine Tuning 용 open source 한국어 데이터셋 소개 (e.g., skt/kobest_v1, beomi/KoAlpaca-v1.1a 등)

- LLM 학습에 사용되는 데이터셋 및 전처리 방법

· train, validation, test 데이터의 의미와 역할 정의

· 데이터셋 샘플링 방법

- 데이터 전처리 방법

· 텍스트 정제, 불용 기호 제거, 토큰화 방법, 중복 데이터 제거 방법 등 학습

· 한국어 데이터셋 전처리의 특수성

17:00 ~ 17:30

- 1일차 학습 마무리 및 종료

25. 1. 16.

2일차: 학습 및 실습 (6H)

10:00 ~ 12:00

- Base Model 선정 및 환경 설정

· 학습에 활용될 수 있는 Open Source Base model 소개

· GPU 자원, 학습 속도, 모델 크기에 따른 선택 기준

· 학습에 활용될 수 있는 Open Source Base model 소개

· 학습에 필요한 라이브러리 및 환경 설정 (PyTorch, datasets 등)

· GPU 설정 방법 (cuda) 학습

· pytorch를 활용한 멀티 GPU 활용 학습 방법 소개

12:00 ~ 13:00

점심

13:00 ~ 14:00

- 테스트 데이터셋 구축 및 검토

· 목적에 맞는 테스트셋 구축 방법 학습, 테스트셋의 크기 및 다변성 검토

· 데이터의 품질 검토 (오류, 중복 데이터 확인)

14:00 ~ 15:30

- 학습용 데이터셋 구축 (train, validation) 및 하이퍼 파라미터 설정

· train/validation 데이터 구축: 학습용 데이터 분할 및 샘플링 전략

· 하이퍼 파라미터 개념 설명: 학습률, 배치 크기, 에폭 수 등의 개념과 역할

15:30 ~ 17:00

- 학습 진행 및 중간 점검

(실습) 모델 학습

· 준비된 데이터셋과 하이퍼 파라미터로 학습 시작

· 학습 과정 모니터링 (GPU 사용률, 속도 등)

(중간점검)

· Loss 값 확인 및 성능 분석 (train loss, validation loss)

· 학습 문제 발생 시 디버깅 방법 소개

17:00 ~ 17:30

- 2일차 학습 마무리 및 종료

25. 1. 17.

3일차: 추론 및 배포 (6H)

10:00 ~ 12:00

- 모델 학습 및 결과 분석

· 학습이 성공적으로 끝났는지 평가 (train loss, eval loss 확인)

· Loss 값이 발산하지 않고 수렴하는지 검토 및 벤치마크 측정

· 모델 성능 개선을 위한 추가 학습 전략 논의

12:00 ~ 13:00

점심

13:00 ~ 15:00

- 추론 테스트

(실습) 추론 진행

· 학습된 모델로 실제 데이터에 대해 추론 진행

· 추론 결과 검토 및 오류 분석

(실습) 추론 성능 평가

· 추론 결과의 정확도, 일관성 분석

· 추론 결과가 학습 의도에 맞게 출력되는지 확인

15:00 ~ 17:00

- 모델 배포 및 활용

· Fast API, vLLM 을 활용하여 모델 배포

· 배포된 모델을 활용해 API로 연결하여 실시간 서비스 구현 예시

(실습) 배포 후 성능 모니터링

· 배포 후 추론 속도 및 성능 모니터링 방법

· 실시간 데이터에서의 성능 개선 전략

(결과보고서 제출)

· Fine Tuning 한 모델을 실제 데이터에 적용하여 결과 분석 보고서 제출

17:00 ~ 17:30

- 3일차 학습 마무리 및 설문조사 후 해산