Petals Àr ett system som möjliggör körning och finjustering av stora sprÄkmodeller (LLMs) lokalt pÄ ett distribuerat, BitTorrent-liknande sÀtt, vilket kan vara upp till 10 gÄnger snabbare Àn offloading. Systemet lÄter anvÀndare generera text med modeller som Llama 3.1, Mixtral, Falcon och BLOOM direkt frÄn sin dator eller Google Colab, och erbjuder flexibilitet liknande PyTorch och Hugging Face transformers. Petals bygger pÄ ett community-drivet nÀtverk dÀr anvÀndare delar sina GPU:er för att hosta delar av modellerna, vilket bidrar till den totala kapaciteten. Det stöder flera operativsystem (Linux, Windows WSL, macOS) och erbjuder funktioner för dataskydd genom publika eller privata swarms. Projektet Àr en del av BigScience-forskningen och tillhandahÄller omfattande dokumentation, tutorials och verktyg för anvÀndning och bidrag.