如何为SetFit启用GPU？

Question

下面是SetFit：https://www.philschmid.de/getting-started-setfit的本教程。

当培训运行时，它使用的是我的CPU而不是我的GPU。有什么办法我可以启用它吗？

下面是代码的主要部分：

from setfit import SetFitModel, SetFitTrainer
from sentence_transformers.losses import CosineSimilarityLoss

# Load a SetFit model from Hub
model_id = "sentence-transformers/all-mpnet-base-v2"
model = SetFitModel.from_pretrained(model_id)

# Create trainer
trainer = SetFitTrainer(
    model=model,
    train_dataset=train_dataset,
    eval_dataset=test_dataset,
    loss_class=CosineSimilarityLoss,
    metric="accuracy",
    batch_size=64,
    num_iterations=20, # The number of text pairs to generate for contrastive learning
    num_epochs=1, # The number of epochs to use for constrastive learning
)

# Train and evaluate
trainer.train()
metrics = trainer.evaluate()

Answer 1

如果您的培训是在CPU上运行，而不是在GPU上运行，这是因为：

PyTorch.

• Either的CPU版本-- CPU /CUDNN和PyTorch的版本不兼容，而训练回到CPU而不是GPU.

。

本质上，它与SetFit模型无关。

在最近的项目中，我的一个工作例子是：

(1) pip/pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116

(2) pip install transformers==4.22.0

请注意，在重新安装它之前，您可能必须先卸载py手电筒：pip uninstall pytorch。

为了确保您的GPU是可见的，一个简短的打印就足够了：

training_device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")