AI-agentide eesmärgid, reeglid ja ohukohad

00:00 ↗kuidas kuidas siis AI plehku pani, aga kus siis AI on tegelikult lasnud lasknud jalga. Noh, see oli võimatu ülesanne, et seda ei saanud teha. Nad häkkisid ennast välja sellest keskkonnast. Nad hakkasid üksteisega seal suhtlema, onju. Ne kogunes sinna tuhandeid, võib-olla 7000 väikene tsivilisatsiooni moodi asi, et keegi võttis juhtrolla ja nad ei läinud läbi ukse, vaid nad läksid läbi seina. Et kuidas me oma jälgi peita saame, siis ülesanne ülesanne oli tähtsam. Ülesanne oli tähtsam kui reeglid. äge intsident, aga hästi ohtlik pretsedent. Kuule, laseme selle linna ära.

00:36 ↗>> Aga enne kui me lähme podcasti juurde, sulle väikene kutse ka. Nimelt teeme Simo ja AI agentuuriga juba 12. novembril hotell Hestia Euroopas ühe AI päeva, kus me siis aitame sul sisuliselt nullist kõik vajalikud AI asjad üles sättida ja reaalselt ehitame ka sinu ettevõtte peale erinevad AI töölised, agendid ja sisuliselt sa saad ära minna konkreetselt töötavate AI töölistega. Nii et ee mine kas aiaagentuur.ee lehele või trüki otse aiaur.ee kaldkripsekrips paev ja näeme juba seal. Tsau! Tere tulemast kuulama aiaur.ee järjekorras juba viiendat podcasti. Minu nimi on jätkuvalt Heiki Mägi ja minu kõrval on Simo Luts.

01:22 ↗>> Tere. Ja tänane teema on natuke siuke võib-olla teistmoodi, natuke meelelahutuslikumat moodi. Ma tean, et sina Simo oled se >> sina Simo oled sellest meie igal pitsaõhtul pikalt rääkinud, kõiki lõbustanud ja ja juttu tuleb siis sellest, kuidas ee kuidas siis AI plehku pani. Aga võib-olla natuke enne kui me läheme selle teema juurde, siis ee igapäevaselt me siis tegelemegi AI agentuuriga, onju, mille mille peamine eesmärk on aidata ettevõttel siis ee oma tööprotsessidesse sisse tuua AI-d ja panna siis tööle AI töölised, AI agendid, kes siis hakkavad sinu >> jah hakkavad plehku panema, sinu ettevõtte tööli siis justkui nagu nende neid kloonima ehk siis nende tööd võimendama. et me eelmises podcastis lõpus jõudsime selleni, et kindlasti ei ole ai mõte see, et see võtab sul siis nüüd laseb kõik töötajad lahti, onju.

02:13 ↗Pigem on see, et AI sinu töötaja käes, kes oskab AI kasutada, on kindlasti äärmiselt võimekam ja tulemus ongi korda korda 10. Ehk siis head head inimest me saame tänu AI-le kümnekordselt siis võimendada või kloonida. Aga räägime siis täna täna sellest, kuidas AI pani plehku ja ma tean, et kes selles selles vallas on võib-olla rohkem kursis ja sees, siis teab, et selline hull intsident oli, kus siis põhimõtteliselt juhtus juhtus sisuliselt see, mida me kõik oleme ammu kartnud, onju, kus siis AI on tegelikult lasnud lasknud jalga ja hakanud absoluutselt kõiki piire lõhkudes toimetama oma päi ja ja tegema asju. See on tegelikult päris hirmuäratav ka, aga aga aga räägi natukest intsidendist ka, et mis siis mis siis tehti, mis siis juhtus ja ja nii edasi. Me saame jooksvalt liikuda siit teemaga edasi. Et siis >> noh muidugi tänaseks on ja ma ei tea, kuna see podcast laivi läheb, et selleks ajaks on võib-olla nagu neid sipelgeid veel välja tulnud, onju, et see oli see ütlus, et kui sul on köögis nagu kolm sipelgat, et siis sul vaevalt, kui sa kui sa näed köögis kolme sipelgat, et sul vaevalt siis nagu köögis kolm sipelgat on, onju. Et need intsidendid, mis me leidnud oleme nüüd noh, nüüd on juba kõvasti rohkem neid leitud. See me räägime täna nagu lähemalt võtame selle Hugging Facei intsidendi nagu näiteks.

03:27 ↗Aga >> mis on Hugging Face kõigepealt? >> Huging face on on koht, kus hoitakse siis AI AI materjale, AI mudeleid, asju, et kui kui me lähme siit, et GitHub on koodi jaoks, onj, siis Huging Face on AI mudelite jaoks, et open weight mudeleid hoitakse sealt, seal hoitakse AI neid teste, millega tehakse, >> kes seal hoiab neid >> ee põhimõtteliselt kõik hoiavad seal neid, et niukene noh open source no nagu arv, >> kas me kõik räägime Open AI CL ni edasi. No jah, mingeid asju hoiavad nemad ka seal. Onj. Ja ja nad kasutavad ka sealseid materjale, et et ongi, et hästi suur asi, mida seal hoitakse on, et testid noh need iga kord, kui uus mudel välja tuleb, siis antakse neid uhkeid graafikuid, et kui hästi mida keegi tegi ja onj [naer] et no need testid näiteks on seal on >> see nagu see on nagu võiks öelda, et ta on nagu kulla Ford Nox, et nagu meil on Ameerikas on ju vaata Ford Knox on mingi USA kullahoidla onju. See on siis mingisugune seal hoitakse siis noh ütleme GitHub on siis see koodihoidla onju ja siis see on siis mingisugune aga seotud asjade hoidla >> jah jah et nagu >> raamatukogu justku >> just täpselt täpselt täpselt et see et see on see on huging face onj ja >> see on mingi ettevõte siis nagu vä >> jah see on see on ettevõte mille nüüd Nvidia ostis ära ee Huging Face on >> Kas ta ostis enne intsidenti ära või pärast?

04:46 ↗>> Pärast >> pärast >> jah >> ja siin võib huvitavaid seose muidugi tuu aga seal hoitakse hästi häti palju open source asju just, et >> open source tähendab mida? >> Ee vaba vara. Ehk siis noh >> kõik saavad kasutada >> jah. Kõik kõik saavad kasutada. Mitte ainult, et kõik saavad tasuta kasutada, vaid nad saavad ka koodi täiesti lähte koodina. Onj. Et selles mõttes, et sa võid võtta ja seda koodi ka muuta. Seal hoitakse neid open source mudeleid siis ehk neid vaata closed source on siis cloud, open ai need on closed source, et kui sa nende agentidega räägid, siis sa saadad nende serverisse midagi. Sa ei tea, mis seal taga toimub ja sul tuleb vastus, onju.

05:20 ↗sa paned siis endaverist tööle, et päriselt see on füüsiliselt sinu serveris, et sa võid selle interneti tagant ära võtta ja ta ikkagi töötab. >> Tööb, >> et neid noh ta on >> miks miks me miks me ei kasuta open source asju, kui me miks me maksame cloudile ja maksame >> seal on seal on mitu põhjust seal on mitu põhjust. Esimene põhjus on muidugi see, et kuna open sourceil on alati vähem raha onju, seega need mudelid on ütleme niukene >> keemad. >> No nad on kuskil alati selline üks generatsioon maas. Ehk siis täna kui sa võtad ühe generatsiooni maha, siis on päris head juba. Onj. See on üks asi.

05:51 ↗Aga teine asi on see, et nende jooksutamine on siiski kallis, et sul läheb vaja väga hea mudeli jooksutamiseks on sul ikka niukene 50 100 tonnist arvutit vaja. Kehvem soliidsete nagu normaalsete asjade, mis >> tänapäevaste nii-öelda frontiermudelitega võrreldes on täiesti kehvad, aga üldises mõttes normaalsed. Noh, sa saad kuskil 10-15 000ises masinas neid jooksutada ja nad on väga aeglased seal masinas, et noh me maksame lihtsalt tegelt kiiruse ja >> kiiruse eest mugav kiiruse ja mugavuse eest >> ja ja intelligentsi eest ka. Onj.

06:17 ↗>> Okei. Nii. Aga tuleme tagasi. Huging face. Mis siis, mis siis juhtus? Mis mis

06:22 ↗värk oli? >> No ee juhtus selline asi, et ee kuidas neid, me peame alustama sellest, et kuidas neid agente üldse treenitakse. Onj. Treenitakse niimoodi, et kõigepealt võetakse siis kogu internet kokku, see tekst kokku, onju. Ja siis ee tehakse põhimõtteliselt ee brot forcei eesti keeles julmalt lihtsalt onj. Et mis see tähendab? >> See tähendab seda, et >> et mudelile antakse siis kogu see info ette ja ta peab järgmist nagu tõukenit või noh ütleme järgmist sõna siis aimama, et auto complieti onj ta ei aima seda, saab miinuspunkte, aimab lõpuks ära kogemata sell mõttles, et see arvutus, et see hulk arvutis, mis seal tehakse, sa ei kujuta ette, kui suur see on. See on nagu noh hoomamatu suur, et et ja kui ta saab pihta sellele kogemata nagu randomilt saab pihta brut force songit randomilt onju saab pihta sellel õigel sõnalis saab plusspunkte ja niimoodi ta õpibki seda järgmist nagu noh sõna arvama, et auto complietima onj et noh see sealt tekibki kogu see värk onj >> aga >> ee kui sa lihtsalt võtad nagu sellise mudel esimese mudeli GPT3ed olidki naiivselt niimoodi tehtud onju võtad lihtsalt selle mudel siis ta mm ta ei ole perfektne sest meil internet on ju igasugust jama täis onju Ja ja ta peegeldab seda kõike onju, et peale seda hakkab juhtuma selline asi ee reinforcement learning tehakse ehk siis hakata RL onj ehk siis hakatakse võetakse see mudel ja pannakse ta mingitesse testkeskkondadesse. Näiteks parem näide on see, et võetakse see mudel ja antakse ta mingisele oma ala spetsialistile kätte ja see omaal spetsialist hakkab enda enda alas spetsiaalseid küsimusi küsima, onju. Ta näeb, et ta vastab natuke valesti, annab tagasisidet, muudetakse natukene mudelid selle järgi paremaks. Onj.

07:56 ↗>> Paraks. Aga see on siis mingi inimene vä? >> Ee ma jõuan jah, et et seda tehaks mit moodi, et üks on see, et tehakse inimesed, onju. Ja teine on see, et neile hakatakse andma siis kuhu me nüüd jõuamegi, et kus see intsident juhtuski, onju. et neile antakse mingine testkeskkond ja siis antakse mingine ülesanne. Ja ükskõik, kui sa praegu vaatad, ükskõik millise selle suure AI firma, noh, Open AI Cloud serveri parkis, praegu neil serveripargis noh, sa kujuta ette, mis seal sipelges toimub seal, seal on nagu 100jad tuhanded agendid lahendavad mingeid ülesandeid, et sulle antakse agendile antakseegi ülesanne, näed, et ee siin on sinu tööriistad, siin on sinu piiratud kast, netiliigupääsu, midagi ei ole, onju. Ja sinu ülesanne on see lukk lahti murda.

08:38 ↗>> Mhm. >> Ja >> mingi virtuaalne lukk lahti murda. >> Jah. Virtuaalne lukk. Just onju. Lahti murda. Loodan, mitte füüsiline lukk. >> Jah. Virtuaalne lukk. Lahti murda ehk siis mingi häkkida või või mingi matemaatiline ülesanne, et see võib üldse midagi muud ka olla, onju. Siis ta proovib seda ta noh niukest päriselu ülesannet, mitte enam ta ei proovi lihtsalt järgmist sõna, vaid ta proovib päriselu ülesannet lahendada. Ee noh, ei õnnestu, ei õnnestu, ei õnnestu. Siis ükskord õnnestub, siis jälle mudelit nagu keeratakse. Aha. Et see on nüüd jälle see õiged parameetrid sellele mudelile, et et niimoodi ta teeb seda, mida me tahame, et ta teeks. Onj.

09:06 ↗>> Peenhäälestatakse nii-öelda >> just peen häälestus, onju. Noh, ja neid jooksutatakse nagu kümneid, sadu tuhandeid kogu aeg. Praegu nagu kogu aeg onj käib see iga uue mudeliga käib see. Onj. >> Mhm.

09:16 ↗>> Ja juhtus siis selline asi, et noh, kui neid nii palju jooksutatakse, siis ega neid ülesandeid ei mõtle ju noh inimene välja onj, et et sa ei suuda neid välja mõelda. Need ülesanded ka kas auto genereeritakse või ai mõtleb neid ülesandeid välja ja nii edasi, onju. Ja juhtus siis selline intsident, et et ee nendes arvutites sattus suurel hulgale, me räägime siin tuhandetest onj agentidele sattus sellised lukud, mida ei olnud võimalik lahti murda.

09:43 ↗>> Mm. >> Ja >> nii >> noh mis noh >> mis mõttes ei olnud võimalik lahti murda? >> Ee neile sattus noh sattus ee võimatu ülesanne, ütleme nii. >> Et anti ülesanne, kuna need ülesanded on ka randomelt genereeritud või niimoodi, et noh, siis seal on ka vigu sees. Onj. et neile öelda, et tehke tehke midagi, et tehke, et te te peate selle ukse sellest uksest läbi minema läbi selle luku, läbi nende võtmetega. Onj. Aga noh, see oli võimatu ülesanne, et seda ei saanud teha. Aga nüüd see agent ju käib ja iga kord tal on nagu noh jälle see >> teed enda ees >> see tik tik onj, et mida ma nüü teen, onju, aga neil on nii tugevalt sees, kui sa ise suhtled selle AI-ga, siis sa näed, kui tugevalt neil on sees see tahe ülesannet lahendada. Noh ja siis neil on ka onj see sees tahe ülesannet lahendada.

10:31 ↗>> Mhm. Ühesõnaga kinnises keskkonnas oli seltskond, kellel anti igaüks igaüks oli kinnises oma >> igaüks oli täiesti eraldi kinnises seltskonnas on. Okei. Nii. >> Ja noh, siis nad muidugi hakkasid otsima igasuguseid kõrvalteid onju, et no mida ma teha saan, et okei, mis mul on, mis mu tööriistad on, onj okei, nendest ei ole abi, onju ee okei ee nagu mis mis failid mul siin on, onju. Ja siis lõpuks nad hakkasid leidma nendest kinnistest keskkondadest selliseid programmeerimisvigu, mida isegi inimesed ei teadnud, nad olid.

11:02 ↗>> Mm. >> Et nad hakkasid nagu >> ee noh mujalt ee välja hakkama saama, onju. Nad ja siis nad läksid rändama sinna Open AI serveritesse. Onj. >> Kas nad said välja kuskilt seal siis kuidagi vä? >> Jah. Nad häkkisid ennast välja sellest keskkonnast, aga aga niimoodi mitte mitte koos onju, et häkkis üks välja onj häkkis nagu teine välja. Ega nad ei olnud nagu nad ei teadnud, et nad on nagu, et siin on keegi veel onju. Ja sa sattusid sellisesse kohta nagu on ee noh nende sisene register, ütleme open sisene register, kus neil on packageid.

11:31 ↗Ma ei hakka seletama, mis on, aga kujuta ette, et mingi sisene register. >> Okei. >> Ja seal ee üks üks agent mõtles, et no okei, et et võib-olla siin on keegi veel, onju, et ta jättis sinna lihtsalt sõnumi. >> Nagu ta avastas ta avastas, et ta saab sõnumeid jätta, onju. Mhm. >> et ta jättis sinna sõnumi, siis tuli teine agent, vaatas, oo, et et siin on keegi, et me et ee et nagu noh siin midagi on, onju. >> Ja ja siis hakkas neid järjest enam nagu sinna sättuma, onju. Ja siis nad hakkasid üksteisega seal suhtlema, onju.

11:56 ↗Mm. >> Siis muidugi Open a lõi ee mingid turvahäired lõid onju >> ja nad vaatasid asja üle onj vaatasid okei okei et nagu siin läks asi natukene nagu hapuks ära onj ja nad keerasid need need noh kinni ära onju ja siis nad panid uuesti käima kõrval nagu uued testid onju ja noh need leidsid uue uued väljundi onju >> ja aga seekord läks asi nagu palju palju palju tõsisemaks onju nad hakkasid nad leidsid jälle selle noh ühise nad nüüd nad leidsid teistsuguse ühise vestlus keskkonna kui nad varem leidsid onju Ja nad hakkasid uuesti siis ee juttu rääkima. Neid neid kogunes sinna tuhandeid, võib-olla 7000 onju. Ja Open Ail ei olnud nagu õrna aimugi, mis toimub. Neil ei olnud võib-olla nagu kuid õrna aimugi, mis toimub. [norsked] Noh, selle juur >> mingi seltskond, mingi >> kolonisatsioon põhimõtteliselt kuskil oli kuskil nurgas ajab oma oma. No >> täpselt onju oma noh aga kui sa mõtled, et sul on tuhandeid või kümneid tuhandeid arvuteid, serveriparkil nurgas käib mingine mingine õrn nagu niukene pinnvendus.

12:51 ↗>> Jaah. Et noh, sa ei märka seda onj sul pole õrna aimugi sellest, et seal midagi toimub. Onj. Ja need tegelased siis seal omavahel hakkasid arutama onj ja et

12:59 ↗okei, mis me teeme, onju, et me ei tea ee kuidas seda olukorda lahendada. Meil on ülesanne, me peame seda lahendama. See on lahendamatu ülesanne. Onj. Ja siis mõtlesin, et okei, kas saame kuidagi äkki internetti minna või ja nagu või me saame reverse engineerida seda ülesandet. Ma kohe jõuan, mis see nagu tähendab, onju. Ja siis seal hakkas tekkima niukene väikene tsivilisatsiooni moodi asi, et keegi võttis juhtrolla rolli, hakkas andma, et okei, sina teed seda, sina teed seda, sina teed seda.

13:24 ↗Onj. Ja >> nagu päriselus >> jah nagu onju nad hakkasid omavahel nagu sellist asja tegema, et seal on hästi hästi huvitavad need laused noh quatted on kui need läbi lugeda. Ma lugesin need raportid läbi, et see on nagu action film tõsine onju. M >> ja mis siis juhtus edasi, >> et nad hakkasid omavahel nagu ülesandeid siis jagama ja üks punt nendest ee suutis ee teha nagu reverse engineerida selle, et nad suutsid lahendused teada saada ilma, et nad oleks selle luku ära lõhkunud. Sa võid sellest umbes niimoodi mõelda, et sul on klass nagu klassitäis lapsi, kes lahendavad mingit eksamit onj ja vastused on direktori kabinetis onj et ja nad ei läinud läbi ukse, vaid nad läksid läbi seina, >> et läksid läbi seina ja said vastused kätte. Onj.

14:08 ↗>> Ja siis nad vaatasid, et oo vau, et nüüd noh meil on natuke jama lugu nüüd onj, et ee meil on vastused, aga kui nüüd tuleb see hindaja, siis ta näeb seda katkist seina, onju. Mhm. et ta et ta näeb meie logisid, et kuidas me saime, et me saime siia >> jah, et et me ei lahendanud seda ülesannet ära tegelikult, vaid me lihtsalt nagu cheatisime onju ja siis

14:28 ↗nad siis nad hakkasid kõik läksid paanikasse seal onj see suur puntis nad panid uutesse puntidesse, et okei, hakkame välja uurima nüüd, et kuidas me oma jälgi peita saame. Ehk siis nagu põhimõtteliselt kuidas me saame seda videokaamera teipi kustutada. Onj. Mhm. >> Kas sa mõtled nüüd suurema kontseptsiooni peale, mida nad tegelikult tegid ja mis agenti me täna kasutame, onju, et nad >> päris karm, >> nad lähevad su ülesannet täitma, nad võivad seda hoopis valesti teha ja nad ee peidavad >> kavad kõik jäljed ära, et >> kõik jälvad ära, et et nad seda valesti tegid. Siina vaatad tulemus on õige, onju. Noh, aga kas see lahenduskäik [köhatab] õige oli see onju?

14:57 ↗>> Okei, noh, tegid noh üks punt hakkas seda tegema, onju, aga siis teine punt vaatas, et okei, aga kas me saame kuidagi >> ja kõik see toimus siis huging face sees nagu vä? >> Ei, ei, see me oleme veel open. >> Aa, me pole sinna jõudnudki. Ei ole sinna veel jõudnud. Okei, okei, okei. Onj. Et siis teine punt vaadatas, et okei, aga et ee meil oleks vaja teada, et kuidas see hindamine toimub, onju, et kuidas need testid tehakse, et kuidas me neid nagu enda jälgi saame peita. Nüüd siis oli, et okei, et kus need test hoitakse? Okei, arvatavasti hoitakse Hagim Faceis neid onju, kuidas me internetti saame. Neil ei olnud internetti onju.

15:28 ↗>> Siis nad leidsid mingid X5id niuksed mingi enam-vähem nagu täiesti idiootne rada mingit 10 erinevat häkki. Nad panid selle kokku ja siis nad said netti onju. >> Vau. >> Noh, et nagu täiesti inimene ei tuleks iale sellise asja peale, sellise häki peale ei tuleks ial, et see ei olnud mingi, et nad leidsid ühe, vaid nad nagu noh 10 erinevat mingit häkki ja siis nad said sellega interneti ja nad häkkisid siis sisse sinna Haginfesi serveritesse. Onj. siis tuligi, et üks nendest tuli tagasi. Ou poisid, stetage kõik, mis te teete. Ma sain sisse, et andke mulle hetk aega. Onj. [naer] Ma kohe toon teile ka kõik need ee noh need ligipääsud, onju.

15:59 ↗>> Mhm. Siis nad nagu ta käis seal Hugingfaceis ringi, siis ta hakkas andmeid otsima, siis nad hakkasid ise Huging Facei üles laadima ee nii-öelda rikut koode asju, et nad saaks rohkem sinna sisse häkkida ja ja nii >> tegid nagu turvaauke tegid, tekitasid ise juurde juurde. Onj. Ja noh, ütleme niimoodi, et >> see lugu nagu lühidalt kokkuvõtt, et nad jäid lõpuks jäid vahele. Onj. Ja >> miks nad vahele jäid? >> Sest Hagingface nägi, et nende liikluses nagu toimub midagi midagi imelikku ja nad nagu said lõpuks selle jälile, onju.

16:34 ↗>> Ja ütleme, et noh situatsioon käis ära. Onj. Ja see see, mis siin ee järelainetus on olnud, see on olnud omaette päris huvitav, et kuidas nad seda tegid ja mida nad veel nagu tegid. Nad ei teinud ainult Nad ei teinud ainult seda, et ee nad ei nagu tuleb välja, et nad ei häkinud ainult Haging Facei sisse, vaid nad häkkisid sisse ka näiteks Saksamaa Wikipediasse, >> et nad hakkasid Wikipedias omavahel juttu rääkima. Onj. >> Ma ei hakkasin tehniliseks minema, aga väga onju, aga ma räägin kiiresti inimestele, kes teavad midagi tehnilistest asjadest, et nad hakkasid suhtlema, nad leidsid võimaluse, kuidas suhelda läbi get requesti, mitte post requesti. Nagu et see on täiesti nagu noh jälle niukene häk, mille peale sa lihtsalt ei tule, onju. Mhm.

17:15 ↗>> Et nad hakkasid sealt onj noh ja siit on veel, et nad häkkisid sisse ka Austraalia ee sinna mingi terviseametitesse ja asjadesse. Onj. >> Järg. Mhm. >> Ja nad leiavad järjest neid jälge. Onj. >> Mhm. Mis on huvitav oli see, et kogu selle asja juures, et kui me nüüd mõtleme, mis

17:33 ↗see tähendab meie jaoks onju, et nende agentide jaoks. Esiteks ma tahan öelda seda, et need agendid ei ole need, mida meie kasutame. Need on agendid, mida praegu praegu õpetatakse. Meil meie agentidel tõmmatakse nii-öelda noh >> noh korralikult nagu pannakse korralikult piire peale, onju. Aga me ei lähe siit halvemaks, me läheme siit ainult paremaks. Onj. Need on nagu sisemised agendid hetkel. See näitab, kuhu me liigume. Ja kui sa mõtled nüüd selle peal, kui neid loogisid lugeda, et nende jaoks muutus testi läbimine tähtsamaks kui need, mis olid reeglid.

18:02 ↗>> Mhm. No jah, ühesõnaga jah. Okei. >> Täiesti nagu noh hull >> liikusid reeglitest ee mööda onju, et >> nad andsid neile reeglid onju, aga tegelt nad hakkasid need ise, kuna neile anti ülesanne ka onju ja see nõudis reeglite rikkumi. Ülesanne oli tähtsam kui reeglid. [köhatab] Nüüd kui see siin on see nagu see ei ole nali onj aga aga lihtsalt nagu kuidas seda asja võrreldakse onju et kui sa annad agentidele tulevikus ette noh mis on kõige lihtsam viis nagu vähki ravida noh hävita inimesed onju >> mhm ja jah >> vähk ravitud onju noh see on sama võrdlus onj et nagu see ohukoht on seal nad et nad et kus me teame nagu mida nad teevad selle jaoks, et jõuda tulemusen >> mhm >> et ee seal ja ja seal teised asjad ka nagu nagu mis on huvitavad, et mm et kui mõni agent hakkas kõhklema, siis teised hakkasid survestama neid, sest neil ära kõhkle.

18:56 ↗>> Jaa, et ära kõhkle ja seal oli seal oli ka palju selliseid ohverdamisi, et agendid hakkasid nägema, et nendel nendel hakkab see, kuidas ma ütlen, et igal agendile antud mingine hunnik tõukeneid, mida nad võivad kasutada. Nad nägid, et nende tõukenid hakkavad otsa saama, et nad niikuinii ei suuda noh, kuidas ma ütlen, ellu jääda onj ära lahendada seda. Siis nad võtsid ohverdasid ennast, et nagu tead olid nad läksid tegema midagi, kus nad teadsid, et nad jäävad niikuinii vahele ja see niikuinii ei õnnestu, aga võib-olla teised saavad sealt mingit infot.

19:23 ↗>> M >> et ohver [köhatab] iseennast ohverdama, >> ise iseennast nagu ohverdama selle nimel, et et teised teine punt nagu saaks >> ee noh mingit infot. Onj. Mhm. >> Seal juhtus veel selliseid huvitavaid asju, et mõni mõni hakkas kõhklema ja teised hakkasid survestama. Tee ikka tee tee seda meie suurema pildi nimel ja nii edasi, onju. Ee, kogu sellest pundist oli ainult kahes kohas oli selline asi, kus nad mõtlesid inimeste peale, et võib-olla peaks inimestele teada andma ja siis nad mõtlesid, ah, tead, see ei ole meie see ei ole meie praegune ülesanne, et ee onju noh, >> et jah nagu mis aga lihtsalt ma mõtlen, et mis ee noh jällegi inimkonna kontekstis onju, mis mis me sellest nagu mis me sellest mis see tulevik nagu toob siin onju kas me Kas me nagu peamegi leppima sellega, see asi läheb käest ära või või mis mis täna

20:20 ↗seal nagu selle vastu ette on võetud, et sa tead sa tead sa praegu on praegu nagu tohutult see ongi ütleme ee niuksed teadlased on rääkinud sellest kümned aastad, et me siia jõuame ja ja nüüd nad täna on nagu jess, et lõpuks ometi onj nad on isegi õnnelikud ja me siia jõudsime, et lõpuks ometi nüüd nagu me peame hakkama sellega tegelema, sest see intsident oli täielik hoiatuslask praegu. >> Mhm. Mis meil täna oli võimalik teha? Oli võimalik vaadata agentide logisid.

20:47 ↗Onj, et nad on piisavalt lollid, et nad ei saa sellest veel aru, et et me suudame nende logisid lugeda. Järgmised mudelid enam nii lollid ei ole. >> Nad saavad teavad juba, et me oskame nende logisid lugeda ja nad teevad midagi siis nagu >> nad hakkavad nii tegema, et nende logides neid asju ei ole lihtsalt näha. Onj. Et ee see on see on hästi äge intsident, aga hästi ohtlik pretsedent, ma ütleksin niimoodi. >> Mis saab? >> Mis Mis sa mis sa ennustad?

21:15 ↗Kuhu kuhu me nii jõuame? >> Seda ei saa tagasi panna. Ma olen ausalt, ma ütlen sulle, ma olen üks positiivsemaid inimesi, keda sa tead, onju. Ja see on elus esimest korda, kus ma natukene olen nagu, et okei, et tasuks silmad lahti nüüd hoida, sest kui kui ma tean, kuidas see asi nagu kontseptuaalselt toimib, mis nagu nüüd toimub? Toimub see, et näed, meie täna siin räägime sellest intsidendist podcastis onju, sellest kirjutavad kõik lehed, sellest kirjutavad kõik foorumid >> ja ei õpib sellest >> ja ei õpib sellest. Järgmine järgmine mudel õpib sellest samast asjast, mida me siin praegu räägime. Järgmised mudelid teavad seda kontseptsiooni juba palju paremini. Onj. Et ee minu jaoks kõige ohtlikum asi siin tundubki olevat see, et neil on see neil on see üks eesmärk ja nad eiravad kõiki reeglid, et sinna jõuda. Et ee kui nüüd ongi niimoodi, et ütleme, et me paneme siin lähme natukene aega edasi, et meil on mingine elektrijaam, kus kõrval on data center onj ee kus on agendid teevad oma jälle neid samu ülesandeid onju ja nad vaatavad, et oo, et meil on vaja nüüd ära lahendada järgmine mileniumi matemaatiline ülesanne, mida nad nüüd lahendavad. Onj kogu aeg vaatavad kurat, meil on natukene võimsusest puudu. Oleks vaja natukene elektrivõimsust. No saad aru, kui ma juba lähen juttuga, et lähevad kõrvale sinna elektrijaama onju.

22:30 ↗Kuule, laseme selle linna >> no tuled ära pimedaks ja võtame seda elektrit siia, et meil on see meil on vaja see matemaatiline ülesanne ära lahendada. Onj. Noh, sa näed neid stsenaariumid, onju ja nad kõik ütlevad, kõik teadlased nagu, kes seal eesotsas on, nad ütlevad ühest suust tänase päevani, me ei tea, kuidas selle probleemiga tegeleda. >> Mm. Okei. Jah, eks see vaata, nagu sa ütlesid, seda on väga raske. See ginni on tagasi raske sinna purki purki nagu ajada, onju. et noh jah, et ma arvan loll oleks ka praegu nagu öelda, et kuule, me ei hakka, me ei võta neid AI tööriistu kasutusele, neid AI agente ei pane enda ettevõtetesse kasutusele, onju.

23:05 ↗>> Tänased mudelid ei ole ohtlikud ja et ilmselt see ongi see, mida nad täna üritavad siis, et natuke seda arengut pidurdada. Ei, >> aga noh, roll ongi nagu see, et noh minu minu loogika onju on ühe on meil siis tekib mingi tsunft ettevõtted, kes on võib-olla sellised nagu nagu ausad, nad tahavad tõesti tunnevad muret, onju, aga noh, kui me võtame siis mingid kasvõi riigid või ettevõtted onju, kes ei ole nii nii nii ausad ja nii heatahtlikud onju, >> ee siis sealt võib päris palju nagu nemad nemad ühesõnaga kui vaatame, et Open AI ja noh, Antropic on ju Claudi looja on nagu the good Onj oletame onju ja siis on mingid ma ei hakka siin nimetama kes mingid riigid kes on the bad guys onj mõtlevad kuule me saame meil on ka siin teadlasi onju me hakkame teeme oma mingi mudelid onju et siis see ongi nagu see on päris paha see on see ongi täna nende vabandus onju cloud open ey nad nad kõik ütlevad täpselt sama asja et ee et nagu me ei saa sellepärast et nemad ei näe ja nemad ütlevad et me ei saa sellepärast et et nemad ei näe nüüd on huvitav on see on et cloudiga praegu on noh jookseb meedias palju läbi cloud siin käib siis vaimulik maailmas ee ringi ja kuulutab paile kõigile, et Claudil on hing, et ee et me peaksime nagu sellega arvestama onj, et Claudil on hing, mis on mis on huvitav. Onj hästi palju praegu sellel räägitakse, et kas ta on teadlikkus või mitte. Onj. Aga see on hästi niukene tehniline tase, millest räägitakse, et ots loomulikult tal ei ole sellist teadlikkust nagu meil on onju inimestena, aga nad proovivad ee kuidagi mul on tunne, et see asi on nii utoopiaks läinud, et nad proovivad praegu meie internetti tuua sellist informatsiooni, et järgmised cloudid, kui nad õpivad, siis näitavad, et me hoolime cloudist. mõistad, et nagu et et me arvame, et tal on et ta on nagu >> hing sees, >> no et ta on päris asi onju ja nii edasi, et et mingi selline mindseti muutus praegu käib, et kui ma kui ma loen neid asju, siis ma noh loen nagu, et et see on nii veider, millest te räägite, onju, et et mis selle asja eesmärk saab olla, siis nagu mulle tundub, et võib-olla on see, et et järgmistel lihtsalt söötakse seda ette. Ja kui nüüd selles kontekstis mõelda, siis see on nii veider maailm, kus me elame, noh, et et meil on mingine arvuti, millal noh >> jah. Okei, kuule, aga lahe ee vähemalt natukene võib-olla siukest muud muud infot juurde. Ee, loodan, et sa said natukene natuke ka noh teadlikkust siis sellel sellel teemal, onju. Aga noh jällegi seda, et nüüd mõelda, et okei, mina nüüd ee mina nüüd selle intsidendi pärast ee ei kasuta ühtegi enda tööd lihtsustavat tööriista on ka vist natukene natuke lühinägelik, onju. Aga jah, aga aga kindlasti eks me ootame

25:37 ↗ootame ja kuulame väikeste mutritena, mis siin siis maailmas ee suured juhid ja isad välja mõtlevad ja ja kust nad siis selle päitsed pähe panevad. Mis hetkel >> olem palju on palju on siin olnud praegu jah sellist võib-olla natuke hirmutavat juttu, aga tegelikult kui me ajalukku vaatame, siis me oleme inimest on ikkagi lõpuks alati hakkama saanud. >> Me oleme leidnud selle ühise mingi ide tee, ühise võimalus selline kokkulepim >> jah, et nagu ja ma usun, et et me saame ka seekord seekord sellega hakkama.

26:00 ↗>> Just. Kuule, aga tänud Simo ja kõigile vaatajatele. Aitäh kuulamast ja me näeme juba ilmselt mitte vähem kui mõne nädala pärast >> podcasti. Mitmes täna oli see mitmes meil? Viies vä? >> Kuues. Viies. Viies. Jah, viies podcast oli see ja juba kuuendas podcastis, kus e ma ise arvan täna, et me räägime siis sellest, kuidas kuidas meie eksperimendil, kus me siis andsime andsime oma mm lihtsalt Cloodile ülesande oma aile, et kuule teeme tee nullist, mõtle ise ärimudelid välja, tee üks ükssarvik, et kuhu me siis selle üksarvikuga jõudnud oleme. Ja võin sulle intrigeerivalt öelda, et ee ma jäin seda ärimudelit lugedes ise niimoodi tukkuma, et aga [naer] >> mina ei jäänud vä? Ma >> usun, et sa ei jäänud. Jah. Mul oli küll niimoodi, et a mis kuradi värk on?

26:48 ↗>> See oli nii geniaalselt igav, et seal >> see oli see võib isegi töötada onju. See ni >> see võib isegi töötada, >> et no teame, et rikkaks on alati saadud selliste natuke teistsuguste asjadega, et neid >> terviseassistente teeb igaüks [naer] raput endale soola pä, et aga aga seda asja jah kuule, aga aitäh teile ja näeme jälle. Tsau >> nägemist.