Ein Forscherteam der University of Chicago untersuchte, wie gut Tools KI-generierte Texte erkennen. Für die Untersuchung verwerndeten sie drei kommerzielle Tools (Pangram, OriginalityAI, GPTZero) sowie ein Open-Source-Tool (RoBERTa). 1.992 Textpassagen aus sechs Bereichen (Nachrichten, Blogs, Verbraucherrezensionen, Romane, Restaurantbewertungen und Lebensläufe) wurden als Input verwendet.
Pangram erzielte als einziges Tool bei mittellangen bis langen Passagen im Wesentlichen keine Falsch-Positiv- und Falsch-Negativ-Raten, bei kurzen Testpassagen steigen beide Raten an.
URLs:
- Bericht: https://bfi.uchicago … automated-detection/
- Download Paper: https://papers.ssrn. … ?abstract_id=5407424