ChatGPT jt. AI-panikööride nurgake

[davidsoniharald]

Kes seda küll oleks arvata osanud:

https://novaator.err.ee/1609752504/eksp ... -haabumist

[slider]

Can ChatGPT Pass a Top-Tier Engineering Coursework?
Sattusin just selle video peale, Meta AI ei saanud eriti hakkama, ChatGPT tegi sellise "kolmepoisi" tulemuse aga Gemini sai 4. hinde võrreldes 36 õpilase tööga. Õpilastel oli 2 kuud aega, et töö esitada. Tasub klikkida ka lahendustel mis video all on lingitud. Ma ei hakka isegi hellitama ideed, et ma saan aru misasi on convex optimization aga tundub muljetavaldav ja professor paistab ka nõustuvat.

[Madis Reivik]

Mölarobotite puhul on hull lugu see et nad valetavad soravalt asjades, mis on vägagi "reaalteaduslikud". Nt palud teha erinevate komponentide võrdlust datasheetide puhul.

Klõps klõps--- tekib ilus tabel. Ohhoo lahe. Hakkan mina vaatama. Üks number natuke kahtlane (justnimelt NATUKE). Küsin mölarobotilt et "why is this number different from datasheet". Ah im so sorry, thank you i correct it immediately blaa blaa..

Teine kord mölarobot MÕTLES ISE välja olematu protokolli (paketi). Kõik jälle väga ilus.. ainult et miks ma seda küll 1000 lk datasheedist ise ei leia..
"Im sorry, yes youre correct it does not exists".

Tekib küsimus et kuidas mölarobot üldse infot töötleb.

Sorav luiskamine on hull variant.

[avrnbr]

Võibolla on see osa treeningust.
Testivad, kui palju valetada õnnestub, enne kui ullike aru saab, et tillist tiritakse.

[Luderi]

Mölarobotite puhul on hull lugu see et nad valetavad soravalt asjades, mis on vägagi "reaalteaduslikud". Nt palud teha erinevate komponentide võrdlust datasheetide puhul.

Klõps klõps--- tekib ilus tabel. Ohhoo lahe. Hakkan mina vaatama. Üks number natuke kahtlane (justnimelt NATUKE). Küsin mölarobotilt et "why is this number different from datasheet". Ah im so sorry, thank you i correct it immediately blaa blaa..

Teine kord mölarobot MÕTLES ISE välja olematu protokolli (paketi). Kõik jälle väga ilus.. ainult et miks ma seda küll 1000 lk datasheedist ise ei leia..
"Im sorry, yes youre correct it does not exists".

Tekib küsimus et kuidas mölarobot üldse infot töötleb.

Sorav luiskamine on hull variant.

AI enamasti proovib teha seda, mida sa tal käsed teha (nagu enamuste muude programmidega )
Selle asja ametlik nimi on hallutsineerimine - https://en.wikipedia.org/wiki/Hallucina ... elligence)
Ja see on täitsa meelega sisse "progetud". See on üks "parameeter" mille sa tegelikult ette söödetava tekstiga koos mudelile ette annad.
Proovi talle mainida, et "anna mulle ainult kindlad ja täpsed vastused, ära hallutsineeri"
See peaks "suvalisust"/randomnessi, vähendama.

Andmetöötluses võiks see parameeter olla enamasti väga madal, samas kui tahad mingit "kunsti" genereerida. Ala laule või luuletusi teha, siis võib see olla veidike suurem

[slider]

"mölarobot" ja paha. akf Madis Reivik, juristide jaoks on gen AI olnud suurepärane tööriist. Teeks väikse ülevaate viimaste aastate jooksul toimunust Algorütmi (Eesti tarkvaraarenduse podcast) saadetes. Paar a tagasi oli tõesti sedasi, et kogenud arendaja jaoks tootis rohkem prügi kui kasu tegi. Saatejuhid on ka mitme aastakümne kogemusega arendajad kuigi ka nemad juba siis tunnistasid, et nt SQL-i teeb ikka maru hästi.
Üldine foon oli, et "päris lahe aga noh.."
Tänaseks vähemalt 6 v 7 episoodi järjest on sedasi, et see noh... on asendunud sellega, et peab õppma uusi tööriistu kasutama, kui keegi arvab, et see on pelgalt chatGPT: "hei, tee mulle instants xyz".. oo ei, mitmed agendid korraga mitme mudeliga jne.

Viimases v eelviimases saates oligi järsult välja toodud "boomer arendaja" kes arvab, et siiski teeb käsitsi paremini ja kiiremini, no ei tee ja saab kinga.
See ei kohaldu muidugi igale alale ja on spets kohti millest mudel ei tea ja seal luuletabki. Krt see on olnud meiega juba mitu aastat ja endiselt on näiliselt spetsialiste, kes nagu "hapude viinamarjade" kombel üritavad kuidagi enda paremust tõestada
Silla kandevõime tõestus ja Airbusi FBW süsteem peabki gurude poolt tehtud ja kontrollitud olema, samas sellist pool v 75% valmis tööriista kalla ilkuda no ei tea. 1000 lk kokkuvõtet sekunditega ja paar viga ja järsku on kasutu ja bullshit... praktikant ei oleks uut protokolli leiutanud, samas 1000 lk mõttega läbida võtab nädala (8st 5ni), a no eks igale oma

Edit: unustasin lisada, et kui keegi kasutab millegi pikema ja suurema jaoks ning tekib see moment, et AI ajab vanduma, tuleb kohe teha konteksti kokkuvõte ja sellega koos alustada uut ringi.

[Kriku]

Kui keegi annab AI-le sisendit programmeerimisülesannete lahendamiseks ja AI lahendab selle sisendi alusel ülesandeid järjepidevalt õigesti, siis on too keegi loonud uue programmeerimiskeele.

[andrus]

"mölarobot" ja paha. akf Madis Reivik, juristide jaoks on gen AI olnud suurepärane tööriist.

https://www.damiencharlotin.com/hallucinations/

Kohtupidamise kvaliteet saab ju sellest ainult tõusta, kui sisuliste küsimuste asemel tuleb kontrollida, et tegu ei oleks TI "kunstilise eneseväljendusega".

[slider]

432 hallucinations so far, ma ütleks jällegi, et vingumine hallukate üle on ainult tooli ja klaviatuuri vahelise tihendi probleem. Kui tööriistal on teada puudus ja seda riski ei osata hallata siis pole ainult tööriist süüdi. Meeldib või mitte aga isegi enne gen AI mudeleid tehti hanke ja tarne lepinguid masinate vahel, ostujuht saab põhimõtteliselt kinnitus emaili, et ette antud parameetritega leping on sõlmitud. Üks meie väga edukas startup millest keegi eriti kuulnud pole https://pactum.com/

Uueks programmeerimiskeeleks ei saa mudeli abil lahendatud ülesannet pidada, seal vahel ei genereerita uut moodi süntaksit millel on omamoodi reeglid ja mida kompileeritakse kuidagi vahepeal uueks masinkoodiks, maatriksarvutuste, kaalude ja muu maagia abil ikkagi ennustatakse sobiv sõnade järjestus ette antud prog keele süntaksi järgi mis ülesande lahendamiseks tõenäoliselt kõige paremini sobib.

[Kriku]

Uueks programmeerimiskeeleks ei saa mudeli abil lahendatud ülesannet pidada, seal vahel ei genereerita uut moodi süntaksit millel on omamoodi reeglid ja mida kompileeritakse kuidagi vahepeal uueks masinkoodiks

Interpretaatorite puhul ka ei kompileerita, seal on vahekihid, mis tagavadki platvormiülesuse. Kui AI tekitab kasutaja sisendi alusel näiteks Java lähtekoodi, siis see on samuti veel üks vahekiht.

Minu väites on rõhk sõnal järjepidevalt. See tähendab tasakaalupunkti ühelt poolt sisendi formaliseerituse ja teiselt poolt süntaksireeglite lõtvuse vahel.

[andrus]

432 hallucinations so far, ma ütleks jällegi, et vingumine hallukate üle on ainult tooli ja klaviatuuri vahelise tihendi probleem.

Mitte 432 hallutsianatsiooni, vaid 432 hallutsianatsiooni, mis on viidatud tabelisse kantud. S nagu statistika.

Teadaolev risk on üks - valetab kontrollimatult - kuidas seda hallata et ei saaks süüdistust ise loll olemises? Kõik väited alati üle kontrollida? Mille poolest erineb see vanast heast otsingumootoritega otsingust?

Tegelikult - äkki avad kõigepealt enda tausta? Kui on tegu TI vallast kasu saava või seda üritava tegelasega, siis ilmselt pole mõtet siin argumenteerimisega aega raisata.

[Madis Reivik]

No True Scotsman !

ALati saab väita et on "vale versioon" või et "ei osanud küsida".

Viimane kogemus, 3 nädalat tagasi, Claude suutis datasheetide abil "leida identse footprindiga detailid" eri tootjatelt ainult et lähemal kontrollimisel ei klappinud korpus ega jalgade arv. Kokkuvõttes kulus ju ROHKEM aega ? Ja tegemist oli lihtsa tehnilise päringuga. Kui küsid et "why youre lying, the data you presented is NOT in the datasheet" siis on "oh im sorry".

Uueks programmeerimiskeeleks ei saa AI-d tõesti pidada, sest programmeerimiskeel annab identse sisendi korral identse väljundi (kui on sama opsüsteem ja kompilaatori versioon ja target platvorm).

AI suudab ikka sellist umbluud genereerida et sa PEAD oskama progeda et sellest aru saada.. ja sellisel juhul kas see pusimine tasub ikka ära ?

Aga siin on teemaks ÕIGUSKAITSE mis on oluliselt komplitseeritum kui kassipiltide tausta valimine menüü abil.

[slider]

Tegelikult - äkki avad kõigepealt enda tausta? Kui on tegu TI vallast kasu saava või seda üritava tegelasega, siis ilmselt pole mõtet siin argumenteerimisega aega raisata.

Tavakasutaja, väljund või siis selle kasumlikkus ei ole seotud TI rohkem kasutamisega. Sellega olen nõus kui lihtsama võrdlemise puhul tekib vigu ja neid peab parandama võib tõesti rohkem aega kuluda. Kasutajakogemus erineb lähteülesande tüübist ka, kui datasheetide moodi näidet kasutada siis minu puhul on rohkem ülesanded olnud stiilis "tee programm mis võtab konkreetse sisu ja paneb kolmandasse võrdlemiseks kokku", selle asemel et mudel ise neid võrdleks. Seda viimast on ka vaja ja kui inimene leiab seal vigu siis jääb jah kehv maitse külge.
Nii palju kui kuulnud siis hallukate esinemine mudeli puhul on seotud ka sellega, et nad on koostatud igal juhul midagi kasutajale vastama, selle asemel, et öelda ei tea või ei saanud aru. Seda "parameetrit" pidavat saama kuigipalju kontrollida. Kui õigusabi puhul oleks mudel maksimaalselt konservatiivne võiks ju täitsa asja saada. Vb sain valesti aru aga õigusabi oleks ikkagi otsimootori stiilis abivahendiga, sealt ei tule otsust mis läheks kohe kohtutäituri kätte ja kellegi võlglase konto arestitakse.

Beavis ja Butthead pole ka moodsa maailma probleemidest vabad https://youtu.be/glQ4T9laZwg?si=IwSZiLOVYa7WL8Lo&t=20

[Madis Reivik]

Mina näen probleemi siin et "Lihtne inimene" lastakse hullemini hammasrataste vahelt läbi - tekivad õiguslikud probleemid, raha pole advokaadi jaoks ja riik võiks aidata aga ei, hoopis mölarobot vastab.
Kunagi oli mingi kaasus kus kohtutäitur suutis perifeerias elava üksikema auto vanarauaks müüa et saada paarisaja eurone valdavalt viivistest koosnev parkimistrahv vms täidetud. Job well done. Sellisteks puhkudeks ongi riigi tasuta õigusabi vajalik.

[Kriku]

Uueks programmeerimiskeeleks ei saa AI-d tõesti pidada, sest programmeerimiskeel annab identse sisendi korral identse väljundi (kui on sama opsüsteem ja kompilaatori versioon ja target platvorm).

Mölarobot ei anna või?