Parcourir la source

change order of grads

justheuristic il y a 5 ans
Parent
commit
153ab20232
1 fichiers modifiés avec 1 ajouts et 1 suppressions
  1. 1 1
      tesseract/client/moe.py

+ 1 - 1
tesseract/client/moe.py

@@ -229,7 +229,7 @@ class _RemoteMoECall(torch.autograd.Function):
             *survived_grad_inputs))
 
         grad_logits = None  # TODO
-        return grad_logits, None, None, None, None, None, None, *flat_grad_inputs
+        return grad_logits, None, None, None, None, None, None, None, *flat_grad_inputs
 
     @staticmethod
     def _run_expert_forward(expert: RemoteExpert, *args: torch.Tensor, **kwargs: torch.Tensor):