Společnost OpenAI oznámila, že „pozastavuje“ aktivity týkající se jejího připravovaného modelu umělé inteligence Astra, protože jeho kybernetické schopnosti jsou potenciálně příliš nebezpečné.
OpenAI uvádí, že její nejnovější interní hodnocení ukazují „významný pokrok v agentním kódování a kybernetické bezpečnosti“ a nemůže vyloučit „kritické kybernetické schopnosti“. Pokyny vyzývají k opatrnosti při vývoji hraničních schopností umělé inteligence, které vytvářejí rizika vážného poškození, a část rámce týkající se kybernetické bezpečnosti uvádí, že OpenAI zavede dodatečná ochranná opatření pro modely, které „vytvářejí nová rizika rozsáhlých kybernetických útoků a zneužívání zranitelností“. „Kritický“ práh, kterého Astra mohla dosáhnout, je definován schopností identifikovat a vyvíjet funkční zero-day exploity všech úrovní závažnosti v mnoha odolných kritických systémech reálného světa bez lidského zásahu nebo navrhovat a realizovat komplexní nové strategie pro kybernetické útoky.
OpenAI uvádí, že před nasazením Astry zvyšuje svá ochranná opatření a bezpečnostní kontroly, včetně omezení práce na modelu, dokud nebudou zavedena nová ochranná opatření. Společnost plánuje používat izolovaná testovací prostředí s omezeným přístupem k síti a nástrojům a zároveň přidat sandboxové spuštění a více monitorovacích funkcí. OpenAI uvádí, že na testování Astry bude spolupracovat s příslušnými vládními agenturami a organizacemi pro bezpečnost umělé inteligence. „Jsme odhodláni spolupracovat s vládami, bezpečnostními institucemi a občanskou společností, abychom zajistili, že hraniční schopnosti modelů, jako je Astra, a těch, které budou následovat, budou nasazeny zodpovědně a široce ve prospěch celého lidstva,“ píše OpenAI.
