배경
Diffusion Language Model은 토큰을 하나씩 예측하는 대신 문장 전체를 반복적으로 denoising하며 텍스트를 생성합니다. 병렬 디코딩과 제어 가능한 생성이 가능해지지만, 이를 잘 학습시키고 효율적으로 샘플링하는 것은 아직 열린 문제입니다.
2026년 3월부터 GIST Real-Lab에서 김관영 교수님 지도 아래 학부 연구 인턴으로 이 문제를 다루고 있습니다.
하고 있는 일
- 최근 Diffusion LM 베이스라인을 재현하고, 깔끔한 학습·평가 환경을 구축하는 것.
- Noise schedule과 masking 전략이 샘플 품질과 학습 안정성에 미치는 영향을 살펴보는 것.
- 품질을 유지하면서 생성 비용을 낮추는 방법을 찾는 것.
현황
초기 단계입니다. 결과가 나오는 대로 이 페이지를 채워갈 예정입니다.