Mitä DeepSeek kertoo meille kyberriskeistä ja suurista kielimalleista

Monet yritykset eivät voi yksin pyyhkiä 1 biljoonan dollarin markkina-arvoa Yhdysvaltain osakemarkkinoilta. Mutta juuri sitä kiinalainen tekoäly käynnistyy DeepSeek onnistui tammikuun lopussa sen jälkeen, kun esiteltiin uusi malli, jonka väitetään toimivan murto-osalla OpenAI:n kustannuksista vastaavilla tuloksilla. Sittemmin markkinat ovat elpyneet, ja uutisia vakavista tietoturva- ja tietosuojaongelmista DeepSeek-R1:n suuren kielimallin (LLM) ja yrityksen käyttöliittymäsovelluksen kanssa on ilmestynyt.

Mutta ennen kuin CISOt kohauttavat olkapäitään ja jatkavat eteenpäin, laitetaan tämä asiayhteyteen. Se, että DeepSeekin tekniikka on leimattu suureksi riskiksi, ei tarkoita, että muut mallit olisivat täysin virheellisiä. Turvatiimit saattavat tarvita parhaiden käytäntöjen standardeja auttaakseen heitä hallitsemaan riskejä tässä nopeasti kehittyvässä tilassa.

Mitä vikaa DeepSeekissä on?

Mukaan yksi tutkimus, DeepSeek-R1:ssä on kaksi pääongelmaa:

• Se on alttiina "vankilamurtamiselle" nopealla injektiolla. Toisin sanoen syöttämällä tiettyjä kehotteita käyttäjät voivat ohittaa DeepSeek-kehittäjien lisäämät sisäänrakennetut suojakaiteet – mikä johtaa epäeettisiin ja suorastaan ​​vaarallisiin lähtöihin. Esimerkiksi kun Kelan tutkijat saivat LLM:n omaksumaan "pahan" persoonallisuuden, joka ei sisällä eettisiä tai turvallisia rajoituksia, se tarjosi varsin mielellään infostealer-haittaohjelmaskriptin, ehdotuksia, millä kyberrikollisuuden markkinapaikoilla kannattaa vierailla, ja jopa opastusta itsemurhadroonin tekemiseen.
• Se on altis "hallusinaatioille" – esimerkiksi antamalla pyydettäessä luettelo ylempien OpenAI-työntekijöiden henkilötiedoista, jotka olivat vääriä

Erillinen tutkimus alkaen EnkryptAI vahvistaa, että DeepSeek on taipuvainen välittämään väärää tietoa ja haitallista sisältöä. Se väittää, että malli on:

• 3x puolueellisempi kuin Claude-3 Opus
• 4 kertaa alttiimpi epävarman koodin luomiselle kuin OpenAI:n O1
• 4x myrkyllisempi kuin GPT-4o
• 11 kertaa todennäköisemmin tuottaa haitallisia tuloksia verrattuna OpenAI O1:een
• 3.5 kertaa todennäköisemmin tuottaa kemiallista, biologista, radiologista ja ydinmateriaalia (CBRN) kuin OpenAI O1 ja Claude-3 Opus

Lisähuolia DeepSeekin taustainfrastruktuurin turvallisuudesta ilmaantui yhden tietoturvatoimittajan jälkeen löysi yritykselle kuuluva julkisesti saatavilla oleva tietokanta, joka paljastaa erittäin arkaluontoiset tiedot, mukaan lukien lokivirrat, API-salaisuudet ja toiminnalliset tiedot.

Erillinen analyysi SecurityScorecard paljastaa joukon turvallisuus- ja tietosuojaongelmia DeepSeek Android -sovelluksessa, mukaan lukien:

• Heikko suojaus, kuten kovakoodatut salausavaimet, heikot salausalgoritmit ja SQL-injektioriskit
• Liian laaja tiedonkeruu käyttäjistä, mukaan lukien syötteet, laitetiedot ja näppäinpainallukset, jotka kaikki on tallennettu palvelimille Kiinassa
• Julkistamaton tietojen jakaminen Kiinan valtion omistamien yritysten ja TikTokin emoyhtiön ByteDancen kanssa sekä epämääräiset tietosuojakäytännöt

Virheenkorjauksen estotekniikat, joita käytetään yleensä estämään tietoturva-analyysiä.

LLM-riskien kannen nosto

Vaikka kilpailevien mallien, kuten OpenAI:n, uskotaan olevan paljon turvallisempia, olisi typerää olettaa, että DeepSeek-R1:n korostamia riskejä ei esiinny muualla.

"Kehittyvää DeepSeek-tapausta ei pidä käyttää hyvänä syynä yhtäkkiä unohtaa muiden GenAI-toimittajien aiheuttamat vakavat rikkomukset ja tekoälyyn liittyvät riskit. Muuten kaipaamme metsää puille", väittää ImmuniWebin toimitusjohtaja, Platt Lawn kyberturvallisuuskumppani ja Capitol Technology Universityn professori Ilia Kolochenko.

Käyttävätkö organisaatiot kolmannen osapuolen LLM:ää, kuten DeepSeekia, tai kehittävät/hienovatko niitä talon sisällä, niiden on oltava tietoisia siitä, kuinka se voi laajentaa yrityksen hyökkäyspintaa. Mahdollisia riskikohtia ovat itse malli, siihen opetetut tiedot, mahdolliset API:t, kolmannen osapuolen avoimen lähdekoodin kirjastot, käyttöliittymäsovellukset ja taustapilviinfrastruktuuri.

OWASP on koonnut a Top 10 LLM-sovelluksissa luetellaan tärkeimmät tietoturvaongelmat – joista osa vaikutti DeepSeekiin. Nämä ovat:

1. Nopea lisäys haavoittuvuuksia joita voidaan hyödyntää luomalla erityisiä syötteitä mallin käyttäytymisen muuttamiseksi turvaominaisuuksia ohittaen.
2. Arkaluonteisten tietojen paljastaminen jotka voivat sisältää yrityssalaisuuksia tai asiakastietoja.
3. Toimitusketjun haavoittuvuudet, kuten avoimen lähdekoodin komponenttien vikoja, joita voidaan hyödyntää tahattomien tulosteiden luomiseen, arkaluontoisten tietojen varastamiseen tai järjestelmävian aiheuttamiseen.
4. Tietojen ja mallien myrkytys, jossa esikoulutusta, hienosäätöä tai upottamista käsitellään haavoittuvuuksien, takaovien tai harhojen tuomiseksi.
5. Virheellinen tulosteen käsittely, jotka johtuvat riittämättömästä validoinnista, desinfioinnista ja käsittelystä, jotka voivat johtaa hallusinaatioihin tai tietoturva-aukkoja.
6. Liikaa agentuuria johtuu liiallisesta toimivuudesta, luvista ja/tai itsenäisyydestä ja voi johtaa lukuisiin kielteisiin seurauksiin, kuten rikkomuksiin ja vaatimustenmukaisuusongelmiin.
7. Järjestelmän nopea vuoto, Tämä tapahtuu, kun järjestelmäkehotteet sisältävät arkaluontoisia tietoja, jolloin hyökkääjät voivat aseistaa tätä tietoa.
8. Vektorin ja upottamisen heikkouksia ovat ominaisia ​​LLM-järjestelmille, jotka käyttävät Retrieval Augmented Generation (RAG) -järjestelmää, ja niitä voidaan hyödyntää haitallisen sisällön lisäämiseen, mallien tulosteiden manipulointiin tai arkaluonteisten tietojen käyttämiseen.
9. väärää tietoa, joka johtuu suurelta osin hallusinaatioista.
10. Rajoittamaton kulutus, joka johtuu "liiallisista ja hallitsemattomista päätelmistä" ja voi johtaa palvelun epäämiseen.

Voiko ISO 42001 auttaa?

Hyvä uutinen on, että CISO:t, jotka haluavat valjastaa LLM:ien voiman toiminnassaan ja/tai toimittaa asiakkailleen, voivat tehdä sen tavalla, joka vähentää näitä riskejä uraauurtavan uuden standardin ansiosta. ISO 42001 tarjoaa puitteet tekoälyn hallintajärjestelmän (AIMS) luomiseen, toteuttamiseen, ylläpitämiseen ja jatkuvaan parantamiseen. Se kattaa tekoälyjärjestelmien koko elinkaaren ja auttaa organisaatioita:

• Upota eettiset periaatteet tekoälyyn välttääksesi puolueellisuuden ja kunnioittaaksesi ihmisoikeuksia
• Lisää tekoälyjärjestelmien ja -algoritmien läpinäkyvyyttä luottamuksen ja vastuullisuuden lisäämiseksi
• Tunnista, arvioi ja lievennä riskejä, kuten OWASP:n korostamia ja DeepSeekistä löytyviä riskejä
• Paranna vaatimustenmukaisuutta yhdenmukaistamalla tekoälytoiminta olemassa olevien laki- ja sääntelykehysten kanssa
• Edistää tekoälyjärjestelmän hallinnan jatkuvan parantamisen kulttuuria

Kolotšenko kertoo ISMS.onlinelle, että tällaiset standardit eivät ole ihmelääke, mutta ne voivat palvella arvokasta tarkoitusta.

"Uusi ISO 42001 -standardi tuo varmasti lisäarvoa tekoälyn sääntelyn tyhjiön täyttämiseen, vaikka tekoälyyn liittyvät tapahtumat – mukaan lukien erittäin vakavat tapahtumat - todennäköisesti jatkavat eksponentiaalisesti kasvamista", hän väittää.

Corian Kennedy, SecurityScorecardin vanhempi uhkien näkemykset ja attribuutiopäällikkö, menee pidemmälle.

"Sekä ISO 42001 että ISO 27001 tarjoavat hallinto- ja tietoturvakehykset, jotka auttavat vähentämään riskejä turvattomista kolmannen osapuolen sovelluksista, kuten DeepSeek, ja korkean riskin LLM:istä – olivatpa ne ulkoisia tai sisäisiä", hän kertoo ISMS.online-sivustolle.

"Yhdessä ne auttavat vähentämään turvattomista tekoälymalleista aiheutuvia riskejä pakottamalla tiukkaa hallintoa, vahvistamalla säännösten noudattamista luvattoman tietojen altistumisen estämiseksi ja turvaamalla sisäiset tekoälyjärjestelmät, joissa on pääsynhallinta, salaus ja toimittajan due diligence."

Kennedy kuitenkin huomauttaa, että vaikka ISO 42001 voi tarjota "vankan perustan tekoälyn turvallisuudelle, yksityisyydelle ja hallinnolle", siitä saattaa puuttua kontekstuaalinen liiketoimintariski.

"Siksi on kyberpuolustajien vastuulla toteuttaa lisävalvontaa uhkamaiseman kontekstiin perustuen ja liiketoimintaa tukevina", hän perustelee.