Petals är en plattform som möjliggör att köra stora språkmodeller (LLMs) lokalt på datorn, liknande BitTorrent-tekniken. Den stöder populära modeller som Llama 3.1, Mixtral, Falcon och BLOOM för textgenerering och finjustering, även med konsument-GPU:er eller Google Colab. Användare laddar en del av modellen och ansluter sig till ett nätverk av andra som tillhandahåller resten, vilket ger tillräcklig hastighet för chattbottar och interaktiva applikationer. Petals erbjuder avancerad flexibilitet jämfört med traditionella LLM API:er, inklusive anpassade finjusteringsmetoder och tillgång till modellens interna tillstånd, med PyTorch- och 🤗Transformers-kompatibilitet. Projektet är en del av BigScience forskningsverkstad.