Was die Loss-Kurve übersieht: FP4-Pretraining verlangsamt seltene Fakten
Eine Studie zum Pretraining mit niedriger Präzision ergab, dass NVFP4 deutlich mehr Expositionen als BF16 benötigt, um seltene Fakten effektiv zu lernen.
Eine Studie zum Pretraining mit niedriger Präzision ergab, dass NVFP4 deutlich mehr Expositionen als BF16 benötigt, um seltene Fakten effektiv zu lernen.