Explorar o código

256 -> 512 -> 256

Eric Wang %!s(int64=3) %!d(string=hai) anos
pai
achega
3b79ea4029
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      finetune.py

+ 1 - 1
finetune.py

@@ -33,7 +33,7 @@ def train(
     micro_batch_size: int = 4,
     num_epochs: int = 3,
     learning_rate: float = 3e-4,
-    cutoff_len: int = 512,
+    cutoff_len: int = 256,
     val_set_size: int = 2000,
     # lora hyperparams
     lora_r: int = 8,