Apple opět řeší problém, který se v posledních měsících kolem umělé inteligence objevuje stále častěji. Z App Store totiž před pár hodinamu odstranil aplikaci Kromix, která se podle zjištění WIRED používala k vytváření pornografických deepfake obrázků a videí skutečných lidí. Ještě pikantnější je přitom skutečnost, že aplikace byla propagována prostřednictvím reklam na Facebooku a Instagramu.
Mohlo by vás zajímat
Aplikace prošla kontrolou Apple
Kromix se v App Store prezentoval jako nástroj pro úpravu a stylizaci obrázků pomocí AI. Ve skutečnosti však podle zjištění WIRED nabízel také funkce umožňující vytvářet sexuálně explicitní obsah s využitím podobizen skutečných lidí.
Jedna z reklam byla přitom podle reportu obzvlášť problematická. Objevila se v ní žena nápadně připomínající prominentní americkou političku. Záběr následně přešel do pornografického deepfake videa, které využívalo její podobiznu. Reklama navíc aplikaci prezentovala jako AI nástroj bez omezení. A právě tady se dostává Apple do nepříjemné situace. Kromix totiž původně kontrolou App Store prošel. Apple následně uvedl, že aplikace pravděpodobně přidala zakázané funkce až poté, co byla schválena a dostala se mezi uživatele.
Apple zároveň připomněl, že aplikace určené k vytváření, distribuci nebo konzumaci pornografie jeho pravidla dlouhodobě zakazují. Stejně tak jsou podle pravidel zakázány takzvané „nudify“ aplikace, které pomocí AI digitálně odstraňují oblečení z fotografií skutečných lidí.
Pamatujete si ještě App Store z iOS 10?
Apple aplikaci po upozornění odstranil
K odstranění Kromix z App Store přitom nedošlo na základě automatické kontroly. Apple aplikaci stáhl až poté, co jej na problém upozornili novináři z WIRED. Společnost následně uvedla, že kromě samotné aplikace pracuje také na odstranění vývojářských účtů, které se podobným způsobem snaží obcházet pravidla App Store.
Nejde navíc o první podobný případ. WIRED v rámci dalšího vyšetřování narazil také na aplikaci MaskAI, která umožňovala nahrávat fotografie a následně lidi vkládat pomocí AI do sexuálně explicitních situací. I tato aplikace byla z App Store odstraněna poté, co se o její existenci začali zajímat novináři.
Mohlo by vás zajímat
Problém se týká i Meta
Celý případ je o to zajímavější, že Kromix nebyl propagován pouze někde na pochybném webu. Reklamy na něj běžely přímo na platformách Meta, tedy především na Facebooku a Instagramu. Podle WIRED bylo v rámci kampaně spuštěno celkem 32 reklam, které byly cílené výhradně na muže. Meta následně po upozornění reklamy odstranila, smazala stránky stojící za kampaní a zablokovala související URL adresy.
Případ tak znovu otevírá otázku, jak dobře dokážou velké technologické společnosti kontrolovat obsah vytvořený pomocí AI. Apple sice podobné aplikace oficiálně zakazuje, přesto se některým podaří jeho kontrolami projít. A Meta zase umožnila jejich propagaci prostřednictvím vlastního reklamního systému.
Je přitom zřejmé, že podobných případů bude s rozvojem generativní AI přibývat. Technologie pro vytváření realistických obrázků a videí se zlepšují velmi rychle, zatímco Apple, Meta a další společnosti musí zároveň hledat způsoby, jak zabránit jejich zneužívání. Tentokrát tedy Kromix z App Store zmizel, otázkou však zůstává, kolik podobných aplikací se v něm může objevit znovu.
