소스 검색

Ignore missing qkv_proj.weight when loading a checkpoint

Max Ryabinin 1 년 전
부모
커밋
4644131086
1개의 변경된 파일1개의 추가작업 그리고 0개의 파일을 삭제
  1. 1 0
      src/petals/server/from_pretrained.py

+ 1 - 0
src/petals/server/from_pretrained.py

@@ -65,6 +65,7 @@ def load_pretrained_block(
 
     # dummy load, check that keys match
     report = block.load_state_dict(state_dict, strict=False)
+    report.missing_keys.pop("self_attn.qkv_proj.weight", None) # will be filled later
     assert not report.missing_keys, f"Some block weights are missing: {report.missing_keys}"
 
     for param_name, _ in block.named_parameters():