Apple GPT a zsebedben? Hamarabb valósággá válhat, mint gondolnád

Hirdetések

Az Apple AI kutatói azt állítják, hogy egy innovatív flashmemória-felhasználási technika feltalálásával kulcsfontosságú áttörést értek el a nagyméretű nyelvi modellek (LLM) iPhone-on és más, korlátozott memóriával rendelkező Apple-eszközökön történő telepítésében. Jöhez az Apple GPT a telefonodra.

Az LLM-ek és a memóriakorlátok

Az LLM-alapú chatbotok, mint a ChatGPT és a Claude hihetetlenül adat- és memóriaigényesek, jellemzően hatalmas mennyiségű memóriát igényelnek a működésükhöz, ami kihívást jelent az olyan eszközök számára, mint az iPhone, amelyek korlátozott memóriakapacitással rendelkeznek. E probléma megoldására az Apple kutatói egy újszerű technikát fejlesztettek ki, amely a flashmemóriát – ugyanazt a memóriát, ahol az alkalmazások és a fényképek is tárolódnak – használja az AI-modell adatainak tárolására.

A mesterséges intelligencia tárolása flashmemórián

Hirdetések

Az „LLM in a flash: Efficient Large Language Model Inference with Limited Memory” című új kutatási tanulmányban a szerzők megjegyzik, hogy a flash-tároló bőségesebb a mobileszközökben, mint az LLM-ek futtatására hagyományosan használt RAM. Módszerük ügyesen megkerüli ezt a korlátozást két kulcsfontosságú technika segítségével, amelyek minimalizálják az adatátvitelt és maximalizálják a flashmemória áteresztőképességét:

  • Ablakolás: Gondoljunk erre úgy, mint egy újrahasznosítási módszerre. Ahelyett, hogy minden alkalommal új adatokat töltene be, az AI-modell újra felhasználja a már feldolgozott adatok egy részét. Ez csökkenti az állandó memória lehívás szükségességét, így a folyamat gyorsabbá és gördülékenyebbé válik.
  • Sor-oszlop kötegelés: Ez a technika olyan, mintha egy könyvet nagyobb darabokban olvasnánk, ahelyett, hogy egyszerre egy-egy szót olvasnánk. Az adatok hatékonyabb csoportosításával gyorsabban olvashatók ki a flashmemóriából, felgyorsítva ezzel a mesterséges intelligencia nyelvi megértési és generálási képességét.

LLM flash tanulmany

E módszerek kombinációja lehetővé teszi, hogy az AI-modellek akár kétszer akkora méretben fussanak, mint az iPhone rendelkezésre álló memóriája – olvasható a tanulmányban. Ez 4-5-szörös sebességnövekedést jelent a hagyományos processzorok (CPU-k) esetében, és lenyűgözően 20-25-ször gyorsabb a grafikus processzorok (GPU-k) esetében.

„Ez az áttörés különösen fontos a fejlett LLM-ek erőforrás-korlátozott környezetben való alkalmazásához, ezáltal bővítve azok alkalmazhatóságát és hozzáférhetőségét” – írják a szerzők.

Gyorsabb mesterséges intelligencia iPhone-on

Az áttörés az AI hatékonyságában új lehetőségeket nyit a jövőbeli iPhone-ok számára, például fejlettebb Siri funkciókat, valós idejű nyelvi fordítást, valamint kifinomult AI-alapú funkciókat a fényképezésben és a kiterjesztett valóságban. A technológia emellett megteremti a feltételeket ahhoz, hogy az iPhone-ok komplex AI-asszisztenseket és chatbotokat futtassanak a készüléken, amin az Apple állítólag már dolgozik.

Az Apple generatív mesterséges intelligenciával kapcsolatos munkája végül beépülhet a Siri hangalapú asszisztensébe. Az Apple 2023 februárjában AI-csúcstalálkozót tartott, és tájékoztatta a dolgozókat a nagy nyelvi modellekkel kapcsolatos munkájáról. A Bloomberg szerint az Apple célja a Siri intelligensebb, AI-val mélyen integrált változata. Az Apple azt tervezi, hogy frissíti azt a módot, ahogyan a Siri az Üzenetek alkalmazással interakcióba lép, lehetővé téve a felhasználók számára az összetett kérdések feltevését és a mondatok automatikus kitöltését. Ezen túlmenően az Apple a pletykák szerint azt tervezi, hogy minél több Apple-alkalmazásba beépíti az AI-t.

Apple GPT

Hirdetések

Az Apple állítólag saját generatív AI-modellt fejleszt „Ajax” néven. Az OpenAI GPT-3 és GPT-4 modellekkel való versengésre tervezett Ajax 200 milliárd paraméterrel dolgozik, ami a nyelvi megértés és generálás magas szintű komplexitására és képességére utal. A belsőleg „Apple GPT” néven ismert Ajax célja, hogy egységesítse a gépi tanulás fejlesztését az Apple egész területén, ami egy szélesebb körű stratégiára utal, amelynek célja a mesterséges intelligencia mélyebb integrálása az Apple ökoszisztémájába.

A legfrissebb jelentések szerint az Ajaxot alkalmasabbnak tartják, mint a korábbi generációs ChatGPT 3.5-öt. Ugyanakkor azt is sugallják, hogy az OpenAI újabb modelljei 2023 szeptemberétől az Ajax képességeit meghaladhatják.

A The Information és Jeff Pu elemző is azt állítja, hogy az Apple valamilyen generatív AI-funkcióval fog rendelkezni az iPhone-on és az iPaden 2024 vége felé, amikor is az iOS 18 megjelenik. Pu októberben azt mondta, hogy az Apple 2023-ban néhány száz AI-szervert épít, 2024-ben pedig még több jön. Az Apple állítólag a felhőalapú AI és az eszközön történő feldolgozással rendelkező AI kombinációját kínálja majd.

Ez is érdekelhet:

Forrás

Nagy Béla

Kezdő szövegíró, és marketinges aki imádja a technológia világát. Kedvencei közé tartoznak az okostelefonok, és a számítógépek. De bármilyen Bluetooth-os kütyüvel eljátszik szabadidejében.