Da sich der Einsatz von KI durch Autoren von der Recherche und dem Brainstorming auf die Erstellung ganzer Bücher ausgeweitet hat, sind Verlage, Autorenagenten und Leser zunehmend darauf angewiesen, dass KI-generierte Inhalte erkannt werden können.
Authors Guild wählte fünf der derzeit besten KI-Erkennungstools sowie eine Liste von zehn Artikeln aus. Die Artikel wurden alle im Jahr 2022 oder früher veröffentlicht, also vor der breiten Verfügbarkeit generativer KI. Jeder Beitrag wurde von allen fünf Erkennungstools geprüft und da die Artikel aus der Zeit der KI-Technologie stammen, sollte jedes Tool, das korrekt funktioniert, durchweg einen niedrigen KI-Erkennungswert liefern.
Die Ergebnisse fielen sehr unterschiedlich aus:
- Pangram und Originality.ai zeigten die zuverlässigsten Ergebnisse. Beide Tools identifizierten jeden Artikel korrekt als von Menschen verfasst.
- Pangram ergab bei allen zehn Artikeln 0 Prozent.
- Originality.ai ergab bei acht Artikeln 0 Prozent, bei zwei Artikeln 1 Prozent.
- Grammarly ermittelte bei acht Artikeln einen Wert von 0 Prozent, bei zwei Artikeln wurden Werte von 7 Prozent bzw. 9 Prozent angezeigt.
- ZeroGPT zeigte eine inkonsistente Leistung: Die Werte reichten von einem Tiefstwert von 5 Prozent bis zu einem Höchstwert von 76 Prozent, wobei mehrere Artikel über 50 Prozent lagen.
- Sidekicker.ai stufte jeden Artikel als überwiegend von einer KI verfasst ein, wobei die Werte zwischen 71 Prozent und 100 Prozent lagen.
Fazit von Authors Guild: Einige KI-Erkennungstools identifizieren von Menschen verfasste Texte mit hoher Genauigkeit. Einige gängige KI-Erkennungstools arbeiten jedoch ungenau. Eine Erkennung, ob ein Artikel von einem Menschen stammt oder durch eine KI generiert wird, ist durch den Einsatz dieser Erkennungstools wohl eher nicht sicher möglich.
URL:
- Authors Guild “Can AI Detectors Be Trusted?”: https://authorsguild … etectors-be-trusted/