Bladeren bron

Remove messy test code

Eric J. Wang 3 jaren geleden
bovenliggende
commit
d66908c0ca
1 gewijzigde bestanden met toevoegingen van 2 en 2 verwijderingen
  1. 2 2
      generate.py

+ 2 - 2
generate.py

@@ -26,12 +26,12 @@ except:
 
 if device == "cuda":
     model = LlamaForCausalLM.from_pretrained(
-        "chavinlo/alpaca-native",
+        BASE_MODEL,
         load_in_8bit=True,
         torch_dtype=torch.float16,
         device_map="auto",
     )
-    # model = PeftModel.from_pretrained(model, LORA_WEIGHTS, torch_dtype=torch.float16)
+    model = PeftModel.from_pretrained(model, LORA_WEIGHTS, torch_dtype=torch.float16)
 elif device == "mps":
     model = LlamaForCausalLM.from_pretrained(
         BASE_MODEL,