Apple GPT v kapse? Může to být realita dříve, než si myslíte

Apple GPT v kapse? Může to být realita dříve, než si myslíte. Výzkumníci Apple tvrdí, že učinili klíčový průlom v nasazování velkých jazykových modelů (LLM) na iPhonu a dalších zařízeních Apple.

LLM a paměťová omezení

Chatboti založené na LLM, jako ChatGPT a Claude, jsou neuvěřitelně nároční na data a paměť a ke svému fungování obvykle vyžadují obrovské množství paměti, což je výzva pro zařízení, jako jsou iPhony, které mají omezenou kapacitu paměti. K vyřešení tohoto problému vyvinuli výzkumníci společnosti Apple novou techniku, která používá flash paměť – stejnou paměť, kde jsou vaše aplikace a fotografie – k ukládání dat modelu AI.

Ukládání AI na flash paměť

V novém výzkumu nazvaném „LLM in a flash: Efficient Large Language Model Inference with Limited Memory“ autoři poznamenávají, že flash úložiště je v mobilních zařízeních lepší než RAM tradičně používaná pro provoz LLM. Jejich metoda chytře obchází omezení pomocí dvou klíčových technik, které minimalizují přenos dat a maximalizují propustnost flash paměti.

• Namísto načítání nových dat pokaždé, model AI znovu používá některá data, která již zpracoval. To snižuje potřebu neustálého načítání paměti, takže proces je rychlejší a plynulejší.
• Sdružování řádků a sloupců: Tato technika je jako číst knihu po větších kouscích místo jednoho slova najednou. Díky efektivnějšímu seskupování dat je lze rychleji číst z paměti flash, což urychluje schopnost umělé inteligence porozumět a generovat jazyk.
• Kombinace těchto metod umožňuje modelům s umělou inteligencí provozovat až dvojnásobnou velikost dostupné paměti iPhonu. To znamená 4-5násobné zvýšení rychlosti na standardních procesorech (CPU) a působivých 20-25krát rychlejší na grafických procesorech (GPU).

Rychlejší AI na iPhonu

Průlom v efektivitě umělé inteligence otevírá nové možnosti pro budoucí iPhony, jako jsou pokročilejší možnosti Siri, překlad jazyků v reálném čase a sofistikované funkce řízené umělou inteligencí ve fotografii a rozšířené realitě. Tato technologie také umožňuje, aby zařízení obsahovaly komplexní asistenty AI a chatboty, na čemž Apple již údajně pracuje. Práce Applu na generativní umělé inteligenci by mohla být nakonec začleněna do jeho hlasového asistenta ‌Siri‌. Apple v únoru 2023 uspořádal summit AI a informoval zaměstnance o své práci na velkém jazykovém modelu.

Apple GPT

Apple údajně vyvíjí svůj vlastní generativní model AI s názvem „Ajax“. Ajax, interně známý jako „Apple GPT“, si klade za cíl sjednotit vývoj strojového učení pro hlubší integraci umělé inteligence do ekosystému. Podle posledních zpráv je Ajax považován za schopnější než předchozí generace ChatGPT 3.5. Je však také možné, že novější modely OpenAI mohou od září 2023 překročit možnosti Ajaxu. Jak The Information, tak analytik Jeff Pu tvrdí, že Apple bude mít na ‌iPhonu‌ a iPadu nějakou generativní funkci AI k dispozici koncem roku 2024, což je doba, kdy vyjde iOS 18.