 dongzn
|
e80e48e2da
Add Scaled Rope Embedding
|
há 2 anos atrás |
 Eric Wang
|
65fb8225c0
lint
|
há 3 anos atrás |
 suzhiba
|
2d719c11cf
Suzhiba/fix resume from checkpoint bug (#322)
|
há 3 anos atrás |
 Toshiro Mifune
|
179f3974f8
Fix label masking length when setting add_eos_token=True and train_on_inputs=False (#306)
|
há 3 anos atrás |
 Lily
|
630d1146c8
Update export_hf_checkpoint.py (#302)
|
há 3 anos atrás |
 Angainor Development
|
8d58d37b65
Templated prompter (#184)
|
há 3 anos atrás |
|
Angainor Development
|
fcbc45e4c0
Print only on Rank 0 (#187)
|
há 3 anos atrás |
|
Angainor Development
|
c59d5672b0
Add jsonl support (#212)
|
há 3 anos atrás |
 Gene Ruebsamen
|
28eb8cac3c
Default dataset to cleaned alpaca dataset from HF (#202)
|
há 3 anos atrás |
 кѳѳsнī
|
55b664f46f
Enabling model parallelism (training 30b on 2x 3090s and beyond) (#131)
|
há 3 anos atrás |
|
Eric Wang
|
3b79ea4029
256 -> 512 -> 256
|
há 3 anos atrás |
|
Eric Wang
|
804d22ad43
remove asserts
|
há 3 anos atrás |
|
Angainor Development
|
69b9d9ea8b
Fix a warning (#186)
|
há 3 anos atrás |
|
Eric J. Wang
|
dbd04f3560
Fix linters (#185)
|
há 3 anos atrás |
 NanoCode012
|
69b31e0fed
Feat: Add wandb (#168)
|
há 3 anos atrás |
 claysauruswrecks
|
1310547f9f
Add HF dataset loading, add linters, pyproject.toml (#175)
|
há 3 anos atrás |
|
Angainor Development
|
9d6b822019
Avoid a deprecation warning (#181)
|
há 3 anos atrás |
|
Eric Wang
|
683810b4a1
Print warning on checkpoint not found
|
há 3 anos atrás |
|
Eric Wang
|
da6b427a08
resume_from_checkpoint
|
há 3 anos atrás |
|
Eric Wang
|
b948f892ba
restore default settings
|
há 3 anos atrás |
|
Eric J. Wang
|
5fa807d106
Use CLI arguments (#159)
|
há 3 anos atrás |
|
Eric J. Wang
|
af30df1999
Unified tokenizer update PR (#146)
|
há 3 anos atrás |
|
Eric Wang
|
72aabcb5a4
Remove LLaMA download code, as a precaution
|
há 3 anos atrás |
|
Eric Wang
|
b12c3b90f8
Unwind input masking to avoid confusion
|
há 3 anos atrás |
|
Eric Wang
|
7fb06c6c22
Revert "Mask out prompt tokens for real"
|
há 3 anos atrás |
|
Eric Wang
|
2204a71505
set EPOCHS back to 3
|
há 3 anos atrás |
|
Eric Wang
|
4a712d4d8e
Mask out prompt tokens for real
|
há 3 anos atrás |
|
Eric Wang
|
fac53721a2
masking bugfix
|
há 3 anos atrás |
 Kohaku-Blueleaf
|
b5a1a0bca7
Add support for valid set size 0 (#83)
|
há 3 anos atrás |
|
Kohaku-Blueleaf
|
0af44f0262
Add option for output dir (#84)
|
há 3 anos atrás |
