ホーム エクスプローラ ヘルプ
サインイン
dongzenan
/
alpaca-lora
1
0
フォーク 0
ファイル 課題 0 プルリクエスト 0 Wiki

説明なし

ツリー: 357ec81a17
ブランチ タグ
alpaca-lora
Eric Wang 357ec81a17 decapoda 3 年 前
.gitignore 26f64780ad initial commit 3 年 前
DATA_LICENSE 63121244c8 Licenses and whatnot 3 年 前
LICENSE 63121244c8 Licenses and whatnot 3 年 前
README.md 357ec81a17 decapoda 3 年 前
alpaca_data.json 26f64780ad initial commit 3 年 前
conversion.py 26f64780ad initial commit 3 年 前
finetune.py 357ec81a17 decapoda 3 年 前
generate.py 357ec81a17 decapoda 3 年 前
iteration.ipynb 26f64780ad initial commit 3 年 前
lengths.ipynb 26f64780ad initial commit 3 年 前
loss.ipynb 357ec81a17 decapoda 3 年 前

README.md

alpaca-lora (WIP)

This repository contains code for reproducing the Stanford Alpaca results. Users will need to be ready to fork transformers.

Setup

  1. Install dependencies (install zphang's transformers fork)

    pip install -q datasets accelerate loralib sentencepiece

pip install -q git+https://github.com/zphang/transformers@llama_push
pip install -q git+https://github.com/huggingface/peft.git

  2. Install bitsandbytes from source

Inference

See generate.py.

Training

Under construction.