U pošti z’javljajet’sja lyst: «Vitajemo, vy vygraly pryz! Zaberit’ jogo prosto zaraz». Programa vidpravljaje jogo u spam. Avtor fil’tra navrjad čy bačyv same cej tekst. Jak todi komp’juter vyrišyv, ščo lyst nebažanyj?

Odyn zi sposobiv — navčyty model’ na prykladah, ščob vona znahodyla oznaky, korysni dlja rozpiznavannja novyh lystiv. Ale ti sami oznaky možut’ pidvesty: pryvitannja z peremogoju u škil’nomu turniri tež mistyt’ slovo «peremoga».

Cja malen’ka zadača dopomože rozibratysja, ščo nazyvajut’ štučnym intelektom, jak vidbuvajet’sja navčannja j čomu navit’ korysnomu rezul’tatu potribna perevirka. Usi povidomlennja nyžče vygadani dlja pojasnennja.

Vid pravyla dlja lysta do šyršoji ideji

Sprobujmo napysaty pravylo: jakščo v lysti je slovo «vygraš», poznačyty jogo jak spam. Vono proste j zrozumile. Teper pryhodyt’ očikuvanyj lyst vid druga: «Pokažu foto našogo vygrašu na turniri». Pravylo spracjovuje, hoča lyst potribnyj.

Dodamo vynjatok dlja druga? Todi postane pytannja, ščo robyty z inšymy vidpravnykamy. Perevirjatymemo šče j posylannja? Samoji najavnosti posylannja tež nedostatnjo: vono može vesty na potribnyj dokument. Kožne utočnennja vymagaje vyrišyty, jaki oznaky vrahovuvaty razom.

Štučnyj intelekt, abo ŠI, — šyroka galuz’ stvorennja system dlja takyh zadač, jak rozpiznavannja, robota z movoju, planuvannja ta pryjnjattja rišen’. Ce ne nazva odnogo algorytmu. Do neji naležat’ i pidhody z javno zadanymy znannjamy, pravylamy ta pošukom variantiv rozv’jazku, i mašynne navčannja — otrymannja korysnyh zakonomirnostej iz danyh. Systemy možut’ pojednuvaty ci pidhody. Taku šyroku ramku opysuje memorandum OECD pro vyznačennja systemy ŠI, s. 6–9.

Tomu meža ne prohodyt’ miž «zvyčajnymy programamy, jaki majut’ pravyla» ta «ŠI bez pravyl». Navčannja tež vykonuje programa. Riznycja v našomu prykladi vužča: častynu sposobu rozriznjaty lysty my hočemo otrymaty z prykladiv, zamist’ vručnu peredbačaty kožne pojednannja oznak.

Ščo same navčajet’sja

Spočatku vyznačymo zadaču: dlja kožnogo lysta potribno vybraty odnu z dvoh kategorij — «spam» abo «ne spam». Takyj vybir kategoriji nazyvajut’ klasyfikacijeju.

Dlja navčannja zberemo lysty, dlja jakyh vidpovid’ uže vidoma. Napryklad, nebažanu reklamu j očikuvani povidomlennja. Poznačka kategoriji bilja lysta — ce mitka. Razom lyst i mitka utvorjujut’ navčal’nyj pryklad. Takyj pidhid nazyvajut’ navčannjam z učytelem: «učytel’» tut označaje najavnist’ vidpovidej dlja porivnjannja.

Model’ — občysljuval’na konstrukcija, jaka peretvorjuje vhidni dani na rezul’tat. Ujavimo prostyj variant: vona vrahovuje slova, posylannja ta inši vybrani oznaky lysta. Naskil’ky kožna oznaka vplyvaje na vidpovid’, vyznačajut’ čyslovi nalaštuvannja — parametry.

Pid čas navčannja algorytm porivnjuje vidpovidi modeli z vidomymy mitkamy j zminjuje parametry, namagajučys’ zmenšyty pomylky. Ce opys odnogo pošyrenogo sposobu navčannja, a ne vsih možlyvyh system ŠI. Osnovni ponjattja rozibrano v kursi Google pro navčannja z učytelem.

Ljudy vse odno zadajut’ ramku roboty. Ščo vvažaty spamom: bud’-jaku reklamu čy lyše nebažanu? Čy bula ljudyna pidpysana na rozsylku? Jakščo cja vidminnist’ važlyva, ale jiji nemaje v danyh, zadača vže maje progalynu. Nazva «navčannja» ne zvil’njaje nas vid potreby dobre sformuljuvaty pytannja.

Vidgalužennja · MehanizmNeobov’jazkovo · možna propustyty

Jak zminjujet’sja čyslo vseredyni modeli

Ujavy rjad reguljatoriv: odyn posyljuje vplyv pevnogo slova, inšyj — pojednannja kil’koh oznak. Ce analogija dlja čyslovyh parametriv, a ne bukval’nyj prystrij.

Algorytmu potriben sygnal pomylky — čyslo, jake pokazuje, naskil’ky vidpovid’ rozhodyt’sja z navčal’noju cillju. Dlja modelej, jaki tak navčajut’, možna občysljuvaty, u jakyj bik trohy zminyty parametry, ščob zmenšyty cej pokaznyk. Odyn iz metodiv nazyvajet’sja gradijentnym spuskom. Jogo kroky pokazano v oficijnomu pojasnenni Google.

Nalaštuvannja pracjujut’ spil’no. Zmina odnogo čysla može dopomogty odnym prykladam i zaškodyty inšym, tomu algorytm orijentujet’sja na sukupnist’ danyh. Ce ne svidome rišennja «teper ja zrozumiv lyst» i ne garantija, ščo vsi nastupni vidpovidi stanut’ pravyl’nymy.

Naviščo lysty, na jakyh model’ ne včylasja

Model’ može čudovo vidpovidaty na znajomi pryklady j pogano — na novi. Nadmirne prystosuvannja do navčal’nyh danyh nazyvajut’ perenavčannjam. Bažana zdatnist’ perenosyty znajdeni zakonomirnosti na novi vypadky — uzagal’nennjam. Google pro perenavčannja ta uzagal’nennja.

Ujavimo, ščo vsi spam-lysty v našij malen’kij navčal’nij dobirci napysani velykymy literamy. Model’ mogla b uhopytysja same za ce. Ale drug inodi pyše «VITAJU!», a reklama može buty cilkom strymanoju. Uspih na takij dobirci šče ne pokazuje, čy my navčyly fil’tr potribnogo rozriznennja.

Tomu častynu prykladiv vidkladajut’ dlja perevirky. Model’ otrymuje lysty bez mitok, a ljudy, jaki jiji ocinjujut’, porivnjujut’ vidpovidi z vidomymy kategorijamy. Jakščo bagato raziv pidbyraty model’ za odnym i tym samym naborom, možna nenavmysno pidlaštuvatysja i pid njogo. Dlja doboru vykorystovujut’ validacijnyj nabir, a dlja final’noji ocinky zalyšajut’ okremyj testovyj. Google pro rozpodil danyh.

Perevirka maje stosuvatysja majbutnih umov roboty. Dobirka korotkyh reklamnyh lystiv malo skaže pro fil’traciju dovgyh robočyh lystuvan’ inšoju movoju. Navit’ česnyj test vidpovidaje na obmežene pytannja: jak cja model’ povodylasja na cyh danyh.

Novyj lyst — uže inša stadija

Pislja navčannja j perevirky pryhodyt’ novyj lyst. My podajemo jogo modeli j otrymujemo rezul’tat. Zastosuvannja navčenoji modeli nazyvajut’ inferensom, abo vyvedennjam.

Navčannja zminjuje parametry modeli; inferens vykorystovuje model’ dlja otrymannja vidpovidi. U našomu sproščenomu fil’tri parametry pid čas zastosuvannja zalyšajut’sja fiksovanymy. Možna stvoryty systemu, jaka donavčajet’sja, ale sam fakt otrymannja novogo lysta cjogo ne označaje. Riznycju miž stadijamy ta možlyvist’ podal’šogo onovlennja pojasnjuje OECD, s. 8–9.

Na shemi prostež, de vidomi vidpovidi dopomagajut’ zminjuvaty model’, a de lyše perevirjaty jiji. Na ostannjomu kroci vže nemaje gotovoji pravyl’noji vidpovidi, jaku my podajemo razom iz lystom.

Odna model’: vid prykladiv do novogo lysta

  1. Navčannja

    Lysty + vidomi mitky«Zabery vygraš!» → spam «Zustrič o tretij» → ne spam
    Algorytm zminjuje parametryPorivnjuje vidpovidi modeli z mitkamy.
    Navčena model’Zberigajemo otrymani nalaštuvannja.
  2. Perevirka

    Inši lystyNe vykorystovuvalysja dlja navčannja. Mitky pryhovano vid modeli.
    Ta sama model’Parametry pid čas perevirky ne zminjujut’sja.
    Vidpovidi ↔ vidomi mitkyOcinjujemo propusky spamu j pomylkovi blokuvannja.
  3. Zastosuvannja

    Novyj lyst«Vitajemo z peremogoju u škil’nomu turniri!»
    Perevirena model’Vykorystovuje vže nalaštovani parametry.
    Prypustimo, vidpovid’: «spam»Možlyva pomylka: ce očikuvane pryvitannja vid školy.
Sproščena shema navčannja z učytelem. Lysty j vidpovid’ na pryvitannja vygadani, ne rezul’taty testu. Dlja doboru modeli vykorystovujut’ validacijni dani; final’nyj test zberigajut’ okremo. Perevirka vymirjuje pomylky, ale ne garantuje pravyl’nosti nastupnogo lysta. Avtomatyčnogo donavčannja pid čas zastosuvannja cja shema ne peredbačaje.

Model’ takož ne dorivnjuje vsij poštovij programi. Programa otrymuje povidomlennja, zapuskaje potribni perevirky j vyrišuje, kudy jogo poklasty. Vysnovok modeli — odna zi skladovyh cjogo procesu. Same tomu fraza «ŠI vidhylyv lyst» pryhovuje kil’ka riznyh rišen’, jaki korysno rozgljadaty okremo.

De tut nejromereža j generatyvnyj ŠI

My vže majemo dva ponjattja: ŠI jak šyroku galuz’ i mašynne navčannja jak grupu metodiv. Nejronna mereža — odyn iz typiv modelej, jaki možna navčaty.

U typovij mereži občysljuval’ni vuzly otrymujut’ čysla, peretvorjujut’ jih iz vykorystannjam parametriv i peredajut’ rezul’taty dali. Grupy takyh vuzliv utvorjujut’ šary. Nazva «nejron» ne robyt’ vuzol biologičnoju klitynoju, a sama najavnist’ mereži ne dovodyt’ ljuds’kogo sposobu myslennja čy svidomosti. Občysljuval’nu budovu pokazuje kurs Google pro vuzly j šary.

Generatyvnyj ŠI opysuje inšyj bik systemy: vona stvorjuje vmist — napryklad, tekst, zobražennja abo zvuk. Naš fil’tr vybyraje kategoriju lysta. Generatyvnij systemi možna postavyty inšu zadaču: napysaty černetku vidpovidi na njogo. Google pro typy zadač mašynnogo navčannja j generaciju.

Ci nazvy vidpovidajut’ na rizni pytannja:

NazvaŠčo vona dopomagaje utočnyty
Štučnyj intelektPro jaku šyroku galuz’ system i zadač idet’sja?
Mašynne navčannjaČy otrymujemo my zakonomirnosti z danyh?
Nejronna merežaJakyj typ občysljuval’noji modeli vykorystovujemo?
Generatyvnyj ŠIČy stvorjuje systema novyj vmist?

Tomu generacija ne je obov’jazkovoju «nastupnoju shodynkoju» kožnoji nejromereži. Mereža može klasyfikuvaty lysty. A zdatnist’ modeli pysaty tekst sama po sobi šče ne govoryt’, naskil’ky dobre vona vporajet’sja z konkretnym prohannjam.

Koryst’ vydno v rezul’tati ta sposobi jogo pereviryty

Povernimosja do pošty. Vyznačyty kategoriju lysta, ocinyty čas vidpovidi j napysaty vidpovid’ — try rizni zadači. Dlja kožnoji potribni svoji dani ta kryterij uspihu. Ta sama logika dopomagaje rozibratysja j z inšymy zastosuvannjamy.

ZadačaŠčo podajemo systemiŠčo otrymujemoJak ocinyty koryst’
Rozpiznavannja abo klasyfikacijaLyst čy fotografijuKategoriju, znajdenyj ob’jektPorivnjaty z perevirenoju vidpoviddju; rozgljanuty vydy pomylok
Čyslovyj prognozMaršrut i dani pro ruhOcinku tryvalosti pojizdkyZistavyty z faktyčnym časom u bagatjoh pojizdkah
RekomendacijaUpodobannja ta istoriju prosluhovuvannjaDobirku muzykyPereviryty, čy dopomagaje vona znajty te, ščo hočet’sja sluhaty
GeneracijaZavdannja, kontekst i vymogyTekst, zobražennja abo inšyj vmistZviryty z vymogamy; dlja faktyčnogo tekstu pereviryty tverdžennja

Ce pryklady klasiv zadač, opysanyh u vstupi Google do mašynnogo navčannja, a ne ocinky konkretnyh produktiv.

Dlja lysta «zroby vvičlyviše» korysnyj rezul’tat može označaty zbereženyj zmist i kraščyj ton. Dlja prohannja «dodaj datu podiji» odnogo garnogo stylju vže nedostatnjo — data maje buty pravyl’noju. Vymoga do perevirky zaležyt’ vid zadači, navit’ jakščo obydvi vidpovidi vygljadajut’ jak kil’ka rečen’.

Dvi pomylky spam-fil’tra, jaki ne varto zmišuvaty

Očikuvane pryvitannja vid školy potrapylo u spam — ce hybne spracjuvannja. Nebažana reklama projšla u vhidni — ce propusk. Obydva rezul’taty nepravyl’ni, ale dlja čytača pošty jihni naslidky rizni.

Možna vidpravljaty u spam usi lysty: todi nebažani povidomlennja ne potrapljat’ u vhidni, zate znykne vsja korysna pošta. Možna ne blokuvaty ničogo: potribni lysty zalyšat’sja, ale fil’tr ne vykonuvatyme svojeji zadači. Otže, odnogo zapytannja «čy znahodyt’ vin spam?» zamalo. Treba odnočasno bačyty, skil’ky potribnyh lystiv vin zabyraje. Cju riznycju formalizujut’ pokaznyky jakosti klasyfikaciji.

Pryčyna pomylky ne zavždy odna. U našomu prykladi model’ mogla nadto poklastysja na slovo «peremoga». U danyh moglo brakuvaty zvyčajnyh pryvitan’. Abo sama mitka bula nepevnoju: reklamnu rozsylku odna ljudyna zamovljala, inša — ni. Ce možlyvi pojasnennja navčal’nogo prykladu, ne diagnoz bud’-jakogo real’nogo fil’tra.

Ščob z’jasuvaty pryčynu, potribni dani pro jogo robotu. Okremyj nevdalyj lyst pokazuje konkretnu pomylku; serija uspišnyh lystiv tež ne dovodyt’ bezpomylkovosti v usih umovah. Dlja ocinky potribna dobirka, jaka predstavljaje rizni vypadky, a ne lyše zručni pryklady.

Čomu perekonlyve rečennja može buty hybnym

U generaciji pomylka vygljadaje inakše: zamist’ nepravyl’noji kategoriji my možemo otrymaty vygadanyj fakt, napysanyj cilkom pryrodnoju movoju.

Movna model’ ocinjuje zakonomirnosti poslidovnostej tekstovyh odynyc’ — tokeniv. Tokenom može buty slovo, častyna slova abo okremyj symvol. Pid čas generaciji prodovžennja systema vykorystovuje model’, ščob poslidovno dobyraty nastupni tokeny z urahuvannjam dostupnogo kontekstu. Tak možna buduvaty rečennja, perekladaty abo styskaty tekst. Google pro movni modeli j tokeny.

Ale pravdopodibne prodovžennja j pidtverdženyj fakt — rizni kryteriji. Ujavimo prohannja nazvaty datu škil’nogo turniru, jakoji nemaje v nadanomu lysti. Vidpovid’ može maty bezdogannu formu: den’, misjac’, rik, navit’ pojasnennja. Forma ne stvorjuje vidsutnjogo dokazu.

Generatyvni systemy spravdi možut’ podavaty hybnyj vmist upevneno j dodavaty vygadani posylannja abo obĝruntuvannja. U zviti NIST ce opysano jak konfabuljaciju; takož užyvajut’ umovnu nazvu «galjucynacija». Tut ce tehničnyj termin dlja pomylkovogo vyhodu, a ne tverdžennja pro ljuds’ki perežyvannja modeli. NIST, Generative AI Profile, §2.2.

Tomu povtorne prohannja do tijeji samoji systemy «perevir sebe» same po sobi ne daje nezaležnogo pidtverdžennja. Dlja daty turniru nym bude ogološennja organizatoriv abo inše vidpovidne peršodžerelo.

Vidgalužennja · Džerela pid čas vidpovidiNeobov’jazkovo · možna propustyty

A jakščo asystent umije šukaty?

Systemu možna pobuduvaty tak, ščob pered vidpoviddju vona znahodyla dokumenty j podavala potribni fragmenty movnij modeli jak dodatkovyj kontekst. Odyn iz doslidženyh pidhodiv nazyvajet’sja generacijeju z dopovnennjam pošukom, abo RAG. U praci Lewis ta spivavtoriv, NeurIPS 2020, §2 pošukovyj komponent i generator opysani okremo.

Tak asystent može otrymaty ogološennja pro turnir bez perenavčannja parametriv pid kožnu novu datu. Znajdenyj dokument — zovnišnij material dlja vidpovidi, a ne te same, ščo zakonomirnosti, zasvojeni pid čas navčannja.

Dali vse odno treba pereviryty, čy ce potribnyj turnir, čy aktual’ne ogološennja j čy pravyl’no jogo perekazano. Najavnist’ posylannja robyt’ perevirku možlyvoju, ale ne vykonuje jiji za nas.

Počynaj iz zadači, zakinčuj perevirkoju

Zamist’ zagal’nogo «dopomožy z lystom» možna sformuljuvaty konkretne prohannja: «Sklady korotku vvičlyvu vidpovid’. Pidtverd’ učast’; datu j misce viz’my til’ky z cjogo ogološennja. Jakščo jih nemaje, zalyš pytannja do organizatoriv». Teper zrozumilo, ščo systema otrymala, ščo maje povernuty ta ščo perevirjatyme ljudyna.

Korysnyj porjadok roboty takyj:

  1. Nazvy rezul’tat. Kategorija, prognoz, dobirka čy černetka — ce rizni očikuvannja.
  2. Daj potribnyj kontekst. Umovy j vyhidni dani, bez jakyh zadača neodnoznačna.
  3. Zazdalegid’ vyznač perevirku. Porivnjannja z oryginalom, rozrahunok, test abo vidpovidne peršodžerelo.
  4. Peregljan’ naslidky pomylky. Vidredaguvaty nezgrabnu frazu j propustyty važlyvyj lyst — rizna cina nevdači.

Spam-fil’tr može rozpiznaty neznajomyj lyst, bo navčannja nalaštuvalo model’ na zakonomirnosti v prykladah. Vony buvajut’ korysnymy, ale možut’ ne vidpovidaty novomu vypadku. Generacija rozšyrjuje možlyvi rezul’taty, prote ne skasovuje cjogo rozryvu miž vidpoviddju systemy ta jiji perevirkoju.

Sprobuj zaraz prydumaty dva povidomlennja: potribne zi slovom «vygraš» i nebažane bez njogo. Uže cja para pokaže, čomu prostogo slova nedostatnjo. Nastupne pytannja — jaki dani j perevirka dopomogly b rozriznyty same ci vypadky.