Vortrainings-Skalierung kehrt Muon-AdamW-Lücke um
Eine Studie zur Optimierer-Leistung zeigt, dass AdamW bei großen Vortrainingsdatensätzen im Fine-Tuning besser abschneidet als Muon.
Eine Studie zur Optimierer-Leistung zeigt, dass AdamW bei großen Vortrainingsdatensätzen im Fine-Tuning besser abschneidet als Muon.