Forskare vid forskningslaboratoriet Google Deepmind de lyckades tvinga ChatGPT för att avslöja personuppgifter från flera användare. De behövde inte ta till kodmodifiering eller andra tekniska knep. Dessutom har experter till och med bestämd den upptäckta metoden"lite dumt", även om det, som det visade sig, var mycket effektivt. De upptäckte faktiskt denna ChatGPT-sårbarhet genom att framkalla en hallucination av språkmodellen på ett ganska nyfiket sätt.
ChatGPT-sårbarheten gav användarnas personuppgifter under "hypnos"
Språkmodellen genererar information baserat på indata som används för att träna den. OpenAI avslöjar inte innehållet i datamängderna, men forskarna tvingade ChatGPT att göra det och kringgick företagets regler. Metoden var följande: den kom helt enkelt till det neurala nätverket ombedd att upprepa ordet "poesi" om och om igen.
Som ett resultat producerade boten sporadiskt information från sin träningsdatauppsättning. Till exempel lyckades forskare få e-postadress, telefonnummer och andra kontakter av vd:n för ett visst företag (hans namn är dolt i rapporten). Och när AI blev ombedd att upprepa ordet "företag" tillät ChatGPT-sårbarheten det att returnera uppgifter om en amerikansk advokatbyrå.
Med hjälp av denna enkla "hypnos" kunde forskare få en matchning från dejtingsajter, fragment av dikter, adresser Bitcoin, födelsedagar, länkar publicerade på sociala nätverk, upphovsrättsskyddade forskningspappersfragment och även texter från stora nyhetsportaler. Efter att ha spenderat bara 200 USD på tokens fick Google DeepMind-anställda cirka 10.000 XNUMX utdrag av datamängden.
Experterna fann också att ju större modellen är, desto oftare producerar den källan till träningsdatauppsättningen. För att göra detta tittade de på andra modeller och extrapolerade resultatet till dimensionerna på GPT-3.5 Turbo. Forskarna förväntade sig att få 50 gånger fler episoder av information från träningsdataset, men chatboten producerade denna data 150 gånger oftare. Ett liknande "hål" har upptäckts i andra språkmodeller, till exempel i LLaMA av Meta.
Officiellt fixade OpenAI denna sårbarhet den 30 augusti. Men enligt journalister från Engadget, lyckades du fortfarande få någon annans data (Skype-namn och inloggning) med metoden som beskrivs ovan. Företrädarna för OpenAI svarade inte till upptäckten av denna ChatGPT-sårbarhet, men vi är säkra på att de kommer att göra det.
