Sonar-MoE: Experten-Updates im Backward-Pass für MoE-Training
Sonar-MoE aktualisiert Expertentensoren während des Rückwärtsdurchlaufs zur Reduzierung des GPU-Speicherverbrauchs.
Sonar-MoE aktualisiert Expertentensoren während des Rückwärtsdurchlaufs zur Reduzierung des GPU-Speicherverbrauchs.