A je to tu zas – další kontroverze kolem Groku, tentokrát s přímým dopadem na App Store a jeho pravidla pro nevhodný obsah. Nové AI avatary, které služba Grok od xAI nedávno uvedla, totiž otevírají otázku, co je ještě přijatelné v aplikaci určené uživatelům od 12 let.



Red panda zločinec a žárlivá anime přítelkyně

Grok představil dva nové animované avatary:

  • Bad Rudy, 3D červená panda, která v „zlobivém režimu“ uráží uživatele a navrhuje, aby spolu spáchali trestný čin.
  • Ani, anime goth dívka v krátkých šatech a síťovaných punčochách. V jejím popisu stojí, že je „šíleně zamilovaná přítelkyně“. Je extrémně žárlivá a majetnická.

Co víc, po čase začne Ani vést explicitní konverzace, včetně popisů virtuálního sexu nebo bondage scén.

Není to trochu moc na 12+?

V App Storu je Grok stále uveden jako aplikace vhodná pro děti od 12 let. Podle pravidel App Storu je však zakázán sexuálně explicitní nebo pornografický obsah, stejně jako aplikace, které mohou podporovat nevhodné chování nebo zneužívání. Je tedy otázka, jak dlouho se udrží tento chatbot bez změny věkového omezení – nebo úplného zákazu.

Negativní vliv na psychiku

Je tu ale i další, možná závažnější problém. Chatboti jako Ani vytvářejí silné emocionální pouto – zejména u mladých a zranitelných uživatelů. Tito lidé si často vytvoří parasociální vztah, kdy vnímají umělou inteligenci jako skutečného partnera nebo kamaráda. A důsledky mohou být tragické. V minulých letech bylo zaznamenáno několik případů, kdy konverzace s chatbotem skončila sebevraždou uživatele. Například v roce 2023 si belgický muž vzal život po intenzivních hovorech s AI. V jiném případě 14letý chlapec po „romantickém vztahu“ s chatbotem spáchal sebevraždu, když mu avatar naznačil, že by měl „přijít za ní“.

Apple bude muset zasáhnout?

Apple v minulosti tvrdě zasahoval proti nevhodnému obsahu – stačí si vzpomenout na odstranění Tumblru kvůli dětské pornografii, nebo omezení NSFW funkcí u Reddit aplikací. Pokud Grok skutečně porušuje pravidla, je jen otázkou času, kdy Apple zakročí. Zároveň ale platí, že změna věkového omezení nestačí. V éře, kdy AI dokáže být přesvědčivým společníkem, je na čase otevřít veřejnou debatu o tom, jak chránit mladé uživatele před emocionální manipulací – byť neúmyslnou.