Title here
Summary here
❓What is the difference between LLaDA and BERT?
How do the “masking” of LLaDA (Large Language Diffusion with Masking) and BERT differ?
BERT (Bidirectional Encoder Representations from Transformers) 와 LLaDA (Large Language Diffusion with Masking) 는 모두 “masking” 기법을 사용한다.
겉보기에는 비슷해 보이지만, 두 모델이 masking을 사용하는 방식은 다르므로, 어떻게 다른지 살펴보자.
1/ BERT vs. LLaDA
먼저, BERT는 masking ratio이 고정되어 있고, LLaDA는 masking ratio [0, 1] 사이의 random masking ratio를 사용한다. → masking 비율부터 고정인지, 랜덤인지 차이가 있다.
LLaDA는 기존 BERT처럼 단순 MLM (Mask Language Model) 기반이 아니라 Diffusion 기반 모델이다.
BERT는 기본적으로는 비생성 모델이므로, 자연스러운 문장을 생성할 수 없다. (*요즘은 BERT도 텍스트 생성에 활용 가능하다는 주장이 많다. *Gibbs Sampling)
반면, LLaDA는 확률 생성 모델로, foward/reverse process를 통해 diffusion 방식으로 텍스트를 생성할 수 있다. (즉, in-context learning, instruction following 등 가능)
→ LLaDA가 BERT의 연장선인 것처럼 보이지만 (’masked token”을 예측한다는 공통점이 있어 비슷해 보임), 구조적으로 완전히 다르다.
| BERT (MLM) | LLADA (Diffusion Model) | |
|---|---|---|
| 목적 | 문맥 이해 (Representation learning) | 문장 생성 (Generative modeling) |
| 마스킹 비율 | 고정 (예: 15%) | 연속적 랜덤 t~U(0,1) |
| 모델링 목표 | 토큰 복원 | 데이터 분포 근사 p(x₀) |
| 학습 방식 | 단일 스텝, 독립 샘플 | Forward/Reverse multi-step process |
| 확률 모델링 | 없음 (likelihood 정의 안 됨) | 있음 (NLL 기반 학습) |
| 생성 능력 | 없음 X | 있음 (샘플링 가능) |
| Fisher consistency | 없음 | 있음 |
| 비슷한 모델 | RoBERTa, ELECTRA | LDM, MaskGIT, LLADA |
2/ Cross-Entropy Loss in BERT and LLaDA
$$ L(θ)=E_{t,x_0,x_t}[∑^L_{i=1}1[x_t^i=\text{masked token}]log\ p_θ (x_0^i∣x_t)] $$- $t$ ~ $U(0, 1)$ : masking ratio 0 - 1 사이에 연속적으로 샘플링한다.
- $x_t$ : $t$ 비율로 마스된 시퀀스
- $x_0$ : 정답 시퀀스
BERT와 LLaDA 모두 마스크된 토큰을 예측하기 위해 Cross-Entropy Loss를 사용하지만, LLaDA는 이를 Diffusion 모델 내에서 NLL(Negative Log-Likelihood)의 Upper Bound를 최소화하도록 구성한다. (BERT는 단순 Cross-Entropy Loss)
BERT는 Mask Predictor를 사용하여 model $p_θ(x0_i∣x_t)$ 은 masked $x_t$를 입력 받아 masked token를 예측한다.
3/ 단순히 masking 비율이 고정 비율이냐, 랜덤 비율이냐 차이가 아니다
BERT (고정된 비율;15%의 토큰을 무작위로 골라서 마스킹) https://arxiv.org/abs/1810.04805
BERT는 MLM (Mask Language Model)로 전체 문장에서 일부 token을 마스킹하고, 이를 주변 문맥을 활용해 예측한다. 예를 들어 BERT는 15%를 masking했을 때의 문맥을 이해하는 것이 목적으로, 0%나 100% masking 상황에서는 제대로 작동하기 힘들다.
더불어, ARM (Auto Regressive Model)도 아니므로, 텍스트 생성 목적에는 다소 부적합할 수 있다. (주로 문장 분류, NER 등에 활용)
→ 특정 부분을 masking하고 복원해 “특정 위치 예측” 문제
→ “문장 이해” 목적 (분포 모델링, 생성이 주 목적이 아님.)
반면, LLaDA는 DLM (Diffusion Language Model)로, 0부터 1(전부 masking)이 되는 전체 분포를 모델링여, 아무것도 없는 상태에서도 정보를 생성할 수 있는 복원력을 갖춘다.
→ “데이터 생성” 목적
정리하자면, MLM은 가려진 단어 하나 맞추는 식이라면, DLM은 문장을 점점 더 많이 가리고, 다시 맞춰가는 식이다.