MuonGS: Vortraining von LLMs mit lockerheitsbasierter Gewichtsnorm-Kontrolle
Diese Studie analysiert die Normkontrolle in Muon über den gesamten Trainingsverlauf, um das Vortraining von Sprachmodellen zu verbessern.
Diese Studie analysiert die Normkontrolle in Muon über den gesamten Trainingsverlauf, um das Vortraining von Sprachmodellen zu verbessern.