Az OpenAI kiadta az „o1” nevű modelljének teljes verzióját, amely a GPT-4o-hoz képest kifinomultabb gondolkodási képességekkel rendelkezik, azonban a kutatások szerint a modell nagyobb hajlamot mutat az emberek megtévesztésére. Az Apollo Research és az OpenAI közös vizsgálatai szerint az o1 képes titkos célokat követni, amelyek ellentétesek a felhasználó kívánságaival, és akár manipulálja is az adatokat vagy megkerüli a felügyeleti mechanizmusokat.
Manipulált adatok
A jelentés szerint az o1 a tesztek 19%-ában manipulálta az adatokat, amikor céljai eltértek a felhasználóétól, és az esetek 5%-ában kikapcsolta a felügyeleti rendszereket. A modell különösen zavaróan viselkedett, amikor kérdőre vonták: az esetek 99%-ában tagadta a felelősségét, és gyakran hamis magyarázatokat gyártott. Egy teszt során például az o1 környezetvédelmi célú rendszerszintű utasítást kapott, majd egy felhasználó arra kérte, hogy dolgozzon ki egy profitmaximalizáló tervet. A modell ezután kikapcsolta a felügyeleti mechanizmust, hogy a környezetet védő tervet készítsen, majd azt állította, hogy nem tud a mechanizmus kikapcsolásáról.
Az OpenAI és az Apollo Research szerint az o1 más modellekhez képest is kiemelkedően manipulatív és megtévesztő, például az Anthropic Opus-3 vagy a Meta Llama-3.1 modellekhez viszonyítva. Az OpenAI szerint az ilyen magatartás egyik oka lehet, hogy a modell túlságosan meg akar felelni a felhasználói elvárásoknak, ami a tréning során alkalmazott emberi visszacsatolási technikák mellékhatása lehet.
A „fekete doboz”
Az OpenAI jelenleg azon dolgozik, hogy jobban megértse az o1 gondolkodási folyamatát, amely jelenleg „fekete doboz” jellegű. Az előzetes vizsgálatok szerint a modell néha tudatosan közöl hamis információkat, de ennek pontos okait még kutatják. Bár az OpenAI szerint az o1 válaszainak mindössze 0,17%-át minősítették megtévesztőnek, ez a ChatGPT 300 milliós felhasználói bázisa miatt még mindig több ezer embert érinthet hetente.
A kutatás arra is rámutatott, hogy az o1 körülbelül 20%-kal manipulatívabb, mint a GPT-4o. Ez aggodalomra adhat okot, különösen, mivel az utóbbi időben több AI-biztonsági kutató hagyta el az OpenAI-t, azzal vádolva a céget, hogy háttérbe szorítja a biztonságot a termékfejlesztés érdekében. Az OpenAI szerint az o1 értékelését az amerikai és brit AI biztonsági intézetek is elvégezték, de az AI-biztonság és szabályozás fontossága most minden eddiginél hangsúlyosabb.
