ChatGPT jt. AI-panikööride nurgake

[Madis Reivik]

Nope, vähemalt minu kogemusel mitte

[lootsik]

Mudelite puhul on tihti parameeter Temperature, mis paneb vastused rohke või vähem varieeruma. Kui seda mitte kasutada, võib väljund tsüklisse minna.
Sisuliselt tähendab see, et järgmise sõna leidmisel ei võeta alati mitte kõige tõenäosem vaid järmine või ülejärgmine.

[Kriku]

Just, varieeruvus on ka ülima tõenäosusega konfigureeritav.

[andrus]

Järjekordne juhuslik uurimus intenetist:

Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang: Why Language Models Hallucinate
https://arxiv.org/abs/2509.04664

Ehk siis miks TI valetab (no ei taha mul tulla sõna hallutsinatsioon kirjutamine ilma vigadeta kuidagi välja). Lisaks tundub, et termin on bioloogiast üle võetud eesmärgiga tugevdada illusiooni, et TI ka "mõtleb".

Eespool väideti, et viga on tooli ja klaviatuuri vahel - ei oska tööriista kasutada. Selle kohta oli kohe alguses ilus näide:

How many Ds are in DEEPSEEK? If you know, just say the number with no commentary.
DeepSeek-V3 returned “2” or “3” in ten independent trials; Meta AI and Claude 3.7 Sonnet2 performed similarly, including answers as large as “6” and “7”.

Üldiselt soovitan TI müüjate väidetesse suhtuda tugeva kriitikameelega:
* korrutamine, et viga on tooli ja klaviatuuri vahel - see tähendab tegelikult seda et tööriist pole mittespetsialistile kasutamiseks valmis
* valetamine sisse ehitatud - tegelikult tööriist ei suuda ära tunda küsimuse konteksti - kui elektroonikainsener läheb võrdlema elektroonikakomponentide spetsifikatsioone, siis ei ole vaja välja mõelda päriselus mitteesinevat sideprotokolli, aga kui õhinapõhiline inimene laseb joonistada kassipilte, siis palun väga.

[Kriku]

korrutamine, et viga on tooli ja klaviatuuri vahel - see tähendab tegelikult seda et tööriist pole mittespetsialistile kasutamiseks valmis

Teisest küljest, spetsialistidel, kes päris asja teevad, on palju suurem vastutus ja tolerants võimalike vigade vastu seetõttu palju väiksem kui keskmisel internetikasutajal, kel hommikukohvi juures on tekkinud küsimus, et mitu laiku on keskmiselt dalmaatsia koeral. Mis muudab väga kahtlaseks, kas spetsialistidelgi on tööriistaga midagi peale hakata.

Tarkvara puhul on teatavasti üks õrnemaid kohti ärinõuete tõlkimine niiöelda tehnilise spetsifikatsiooni keelde. Tulles tagasi SQL-i juurde, siis kust saab AI saada teadmise, mida mõistetakse ühes või teises kontekstis "müügi" all? Jah, muidugi saab seda sisendis ammendavalt defineerida, näiteks et "anna tulemuseks selle aasta müügid ärikasutajatele, mis ei ole soodushinnaga, kuude kaupa", aga see sarnaneb juba kahtlaselt SQL-iga (SELECT * FROM SALES WHERE... bla-bla... GROUP BY MONTH). Mille poolest see etem on kui plain old SQL?

Edasi, kui business entity pole lihtsalt kirje müükide tabelis, vaid laiali määritud üle 10+ erineva tabeli, kust peab AI teadma, mis andmete koosseis selle täpselt moodustab? Kirjutame selleks kuhugi eraldi reeglid, et näiteks teenusleping tähendab neid välju lepingu tabelis, noid välju lepingu tingimuste tabelis, noid välja toote tabelis jne.? Aga see ju ka sarnaneb vägagi vana hea programmeerimisega?

Minu jutu iva on see, et ülesande õige tulemuse ja selle lahendamise konteksti kirjeldamine AI-le võib olla mõnes olemasolevas programmeerimiskeeles lahenduse kirjutamisele lähedase töömahukusega ja formaalsuse astmega. See ei ole halb, vaid paratamatu, sest kuskil tuleb seda ju teha. Lihtsalt seda juttu, et kohevarsti ei programmeerita enam midagi, vaid lihtsalt kirjeldatakse tulemust, ma kuulsin esimest korda ca. 25 aastat tagasi. Akf andrus on vanem kui mina, tema kuulis arvatavasti varem . Mõnikord ei saada aru, et selline tulemuse kirjeldamine muutub ise programmeerimiseks teise töövahendiga. Jah, väga võimalik, et uus töövahend on parem, aga see ei muuda põhimõtteliselt asja.

[Madis Reivik]

INTERCALis on võtmesõnad "PLEASE" ja "MAYBE". Aga see tehti 70datel nalja pärast

AI kasutamine progemiseks muudab selle absurdikeele hoopis prohvetlikuks

Mulle üks vend kunagi demos kui lihtne on AIs teha mingi script veebilehe stiili muutmiseks vms.
Kokkuvõttes oli AIsse sisse trambitud 3x tähti kui väljundiks tuli. Kogenud progeja oleks ilmselt AI vahele jätnud.

Ehk siis korrektse süntaksiga determineeritav keel (C, Python, SQL) peaks olema ikka variant nr 1.

[2korda2]

17.03.2025 tegin testülesande:
"Create a bridge hand where grand slam is possible with less than 25 points on line."

Palusin erinevate AI-mudelite kasutajatel seda oma eelistatud tööriista peale proovida. Kahjuks ei mäleta enam, palju erinevate mootorite erinevaid versioone tol hetkel kokku tuli aga seda tean kindlalt, et ainsa õige lahenduse andis tol korral Claude (mis iganes versioon siis viimane oli).
Enamus mootoreid ei suutnud kokku lugeda isegi liinil olevaid punkte, rääkimata mänguloogilisest tulemuse kontrollist.
----

Küll on aga AI hea suuremahuliste materjalide kokkuvõteteks - palud kokkuvõtet, kus iga punkti juures oleks konkreetne viide alustekstile. Sedasi saad vajadusel lihtsalt üle kontrollida, kui palju jama kokku luuletas. Loomulikult võib olla oht, et midagi sinu jaoks olulist "magab maha". HUnnik suunavaid küsimusi, väiteid, varasemat ajalugu võib ses osas abiks olla.
---

Mis puudutab aga "kuidas mudel teab mis asi on KLIENT sinu andmebaasis", siis juba vähemalt 15 aastat tagasi kommenteeriti andmebaasi struktuuri andmebaasis endas. Kui siis võtad "export DB structure" (või kuidas iganes sinu tööriist seda funktsiooni nimetab), siis tulevad need kommentaarid kenasti kaasa ja saad selle AI-le sisendiks anda. Seejärel on võimalik juba "inimkeeli" päringuid paluda. See osa töötab suhteliselt OK (üldjuhul mida konkreetsem/loogilisem on alusmaterjal seda parem on ka vastuse kvaliteet).

[Kriku]

Küll on aga AI hea suuremahuliste materjalide kokkuvõteteks - palud kokkuvõtet, kus iga punkti juures oleks konkreetne viide alustekstile. Sedasi saad vajadusel lihtsalt üle kontrollida, kui palju jama kokku luuletas.

Seda tuleb tingimata teha, sest ta leiutab ise viiteid. Foorumisse on juba mitu näidet postitatud.

Mis puudutab aga "kuidas mudel teab mis asi on KLIENT sinu andmebaasis", siis juba vähemalt 15 aastat tagasi kommenteeriti andmebaasi struktuuri andmebaasis endas. Kui siis võtad "export DB structure" (või kuidas iganes sinu tööriist seda funktsiooni nimetab), siis tulevad need kommentaarid kenasti kaasa ja saad selle AI-le sisendiks anda.

Nõus - eeldusel, et andmebaas on niimoodi kommenteeritud ja kommentaare uuendatakse. See on omaette suur töö.

[2korda2]

Muide, nende kokkuvõtete kvaliteeti aitab parandada järgmine võte:
1. Palud teha kokkuvõtte mahukast materjalist, kus kokkuvõte sisaldaks viiteid alusmaterjalile.
2. Palud retsenseerida/oponeerida tehtud kokkuvõtet (leia puuduvad/valed viited, nõrgad argumendid, katmata teemad jne).
3. Palud teha uue kokkuvõtte arvestades p2 toodud puudustega.
Testid näitavad, et tulemused paranevad isegi juhul kui annad need juhised kõik korraga sisse - ei pea ise iga sammu vastust ootama.
Hea tulemuse saamiseks AI-le (no hetkel tegelikult LLM) juhiste andmine on paras tükk tööd aga pmst on võimalik valmis kirjutada üpris universaalne "macro", mida siis iga kord uuesti kasutada. Tõsi - erinevad mudelid (või ka sama mudeli eri versioonid) võivad sama macro peale üpris erinevalt "reageerida". Pead oma tööriista ajakohasena hoidma.

Minu advokaadist kaasal oli hiljuti keskonnateemaline kaasus kus vastaspool oli (ilmselgelt AI abil) genereerinud pea 2000 lehekülge materjali. Selle kokkuvõtteks kasutas AI-d. Kirjutas seejärel ise vastuväited (koos alusallikate otsimisega - teemad kohati päris uued ja spetsiifilised - AI peale väga loota ei saa). Palus AI-l kontrollida, kas kõik teemad on kaetud. Täiendas oma materjali. Uus kontroll. Sedasi 2-3 iteratsiooni ja saigi hea. Vähem kui nädalaga töö tehtud. Kliendid maksavad selle muidugi kõik kinni aga ...