Generativa AI-modeller, både för text (LLM) och bild (Midjourney), har visat sig kunna reproducera upphovsrättsskyddat material, ibland nästan ordagrant, även utan direkta instruktioner. Detta problem har belysts genom forskning som visar att LLM:er kan "dumpa" privat information och återskapa text, samt i rättsfall som New York Times mot OpenAI. Experiment med Midjourney v6 bekräftade att bildmodeller kan generera igenkännbara karaktärer och scener från upphovsrättsskyddade filmer och spel, vilket indikerar träning på sådant material. Förmågan att oavsiktligt generera upphovsrättsintrångs-material väcker komplexa juridiska, etiska och praktiska frågor för både AI-utvecklare och slutanvändare. Eftersom AI-modeller fungerar som "svarta lådor" är det svårt att förstå och förhindra uppkomsten av dessa plagiat, vilket gör problemet svårlöst.