File size: 1,443 Bytes
5c023df ea31246 5c023df ea31246 5c023df ea31246 5c023df ea31246 5c023df ea31246 5c023df ea31246 5c023df ea31246 5c023df ea31246 5c023df ea31246 5c023df ea31246 5c023df ea31246 5c023df ea31246 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 | ---
license: cc-by-sa-4.0
base_model: defog/sqlcoder-7b-2
tags:
- transformers
- text-generation
- sql
- causal-lm
- lora
- qlora
- peft
---
# 🦎 QLoRA SQLCoder — Fine-tuning de `defog/sqlcoder-7b-2`
Este repositório contém os **adapters LoRA** (formato PEFT) treinados com a técnica **QLoRA** sobre o modelo base [`defog/sqlcoder-7b-2`](https://huggingface.co/defog/sqlcoder-7b-2). O objetivo foi adaptar o modelo para melhor compreensão e geração de SQL em contextos específicos definidos pelo dataset fornecido.
---
## 📚 Modelo Base
- [`defog/sqlcoder-7b-2`](https://huggingface.co/defog/sqlcoder-7b-2)
- Arquitetura: LLaMA / causal LM
- Parâmetros: 7 bilhões
---
## 💡 Como Usar
```python
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
base_model = "defog/sqlcoder-7b-2"
adapter = "Miguel0918/qlora-sqlcoder"
tokenizer = AutoTokenizer.from_pretrained(adapter)
model = AutoModelForCausalLM.from_pretrained(
base_model,
device_map="auto",
load_in_4bit=True,
torch_dtype="auto"
)
model = PeftModel.from_pretrained(model, adapter)
prompt = "portfolio_transaction_headers(...) JOIN portfolio_transaction_details(...): Find transactions for portfolio 72 involving LTC"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
|