Qərar modeli proqram təminatına sizin müəyyən etdiyiniz cavablar arasında seçim etməyə kömək edir. Ona mesaj, sual və icazə verilən variantlar verildikdə, ehtimallarla birlikdə hökm qaytarır. Mətn yaradan böyük dil modeli, yəni LLM, yeni cavab yaza bilər. Qərar modeli isə həmin mesajın əvvəlcə hara göndərilməli olduğunu müəyyən etməyə kömək edir.
TypeSafe-in Jev-i, Cloudflare-in Clef-i və OpenAI-nın Decisions API-si bu cür məhdud hökmləri dəstəkləyir. Tətbiq onlardan dəstək növbəsini seçmək, problemi müəyyən etmək və ya ciddilik dərəcəsini qiymətləndirmək üçün istifadə edə bilər. Generativ model isə bundan sonrakı yazı işini öz üzərinə götürə bilər.
Bir mesaj, iki fərqli iş
Təsəvvür edin ki, müştəri yazır: “Eyni sifariş üçün iki dəfə ödəniş tutulub.” Dəstək sisteminin iki işi var: bileti düzgün komandaya göndərmək və kimsənin faydalı cavab yazması. Bu işlər fərqli çıxış növləri tələb edir.
Generativ LLM belə yaza bilər: “Bu ödənişi yoxlamağınıza kömək edə bilərəm.” Qərar modeli isə “Bu bileti hansı komanda idarə etməlidir?” sualına billing cavabını verə bilər — billing, technical və review variantları arasından seçərək.
Tətbiq bu cavabı birbaşa yoxlaya bilər. Nəticəyə əsasən bileti billing komandasına yönləndirə və ya qeyri-müəyyən olduqda nəzərdən keçirməyə göndərə bilər. Daha sonra bir insan və ya başqa model cavabı yaza bilər. Qərar modeli daha böyük bir prosesin daxilində konkret bir hökm verir. TypeSafe-in System One girişi bu ayrılmanı təsvir edir.
Diaqram hər iki modeli eyni yönləndirmə sualında müqayisə edir. Mətn modeli JSON cavabı yaradır; qərar modeli isə üç icazə verilən variantı ballandırır.
Qərar modelinə nə soruşa bilərsiniz?
Qərar interfeysləri adətən üç növ sualı dəstəkləyir: variant seçmək, bir şeyin doğru olub-olmadığını qiymətləndirmək və ya bal vermək. Siz sübutları təqdim edir və cavabların nə məna verdiyini müəyyən edirsiniz. Eyni müştəri mesajı bir neçə ayrı hökm üçün əsas ola bilər.
| Sual növü | Nümunə | Nə qayıdır |
|---|---|---|
| Bir variant seçmək | Hansı komanda əvvəlcə cavab verməlidir? | Seçilmiş komanda və bütün variantlar üzrə ehtimallar |
| Bəli və ya xeyr | Bu mesaj geri ödəniş tələb edirmi? | Cavabın bəli olması ehtimalı |
| Bal vermək | Müəyyən edilmiş şkala üzrə bu problem nə qədər ciddidir? | Təqdim etdiyiniz səviyyələrə əsaslanan qiymətləndirmə |
TypeSafe bunları Choice, Noul və Score adlandırır. OpenAI choice, predicate və score terminlərindən istifadə edir. Predikat bəli/xeyr sualıdır.
Sualın qoyuluşu vacibdir. “Hansı komanda əvvəlcə cavab verməlidir?” bir komanda istəyir. “Bu mesaj ödəniş problemi qeyd edirmi?” və “Bu mesaj texniki problem qeyd edirmi?” ayrı-ayrı suallardır və hər ikisinə bəli cavabı verilə bilər. Əgər bilet iki problem təsvir edirsə, onları bir kateqoriyaya sıxışdırmaq faydalı məlumatı itirə bilər.
Bu, LLM-dən JSON istəməkdən necə fərqlənir?
LLM də JSON daxilində kateqoriya qaytara bilər — JSON proqram təminatının oxuya bildiyi məlumat formatıdır. Structured Outputs ilə dəstəklənən sxemlər cavabı icazə verilən dəyərlərlə məhdudlaşdıra bilər. Bu, LLM-i bir çox təsnifat tapşırıqları üçün etibarlı alternativə çevirir.
Fərq, xüsusi qərar modelinin cavabını necə formalaşdırmasındadır. Ənənəvi LLM mətni ardıcıl şəkildə, token adlanan kiçik hissələrlə yaradır. Nəticə sadəcə {"team":"billing"} olsa belə, bu hələ də mətn yaratma prosesidir.
Cloudflare-in Clef-i isə girişi oxuyur və icazə verilən cavabları birbaşa qiymətləndirir — cavabı token-token yazmadan. Cloudflare bu yanaşmanı Clef elanında təsvir edir. Clef hələ də girişi başa düşmək üçün əsas kimi LLM-dən istifadə edir.
OpenAI Decisions API-nin giriş və çıxışlarını sənədləşdirir, lakin Clef-in daxili dizaynından istifadə etdiyini təsdiqləmir. Oxşar interfeys eyni arxitekturanı sübut etmir.
Hər iki yanaşma etibarlı kateqoriya qaytara bilər, lakin yenə də səhv olanı seçə bilər. Etibarlı kateqoriya hələ də müştərinin probleminə uyğun gəlməlidir.
Jev, Clef və OpenAI harada tətbiq olunur?
Bu məhsullar proqram təminatının yoxlaya biləcəyi məqsədyönlü qiymətləndirmələr təqdim edir. Jev TypeSafe-ın qərar modelidir. Clef Cloudflare-ın yüklənə bilən model ailəsidir, həmçinin Workers AI vasitəsilə də mövcuddur. OpenAI məhdud suallar üçün Decisions API təklif edir. Onların arasında seçim etmək üçün real tapşırıqda test aparmaq lazımdır.
| Məhsul | Əvvəlcə bilməli olduğunuz |
|---|---|
| TypeSafe Jev | Mətn və strukturlaşdırılmış məlumatlar üzərində tipli suallar ətrafında qurulub. Təlimi faydalı, kalibrlənmiş ehtimalları hədəfləyir. |
| Cloudflare Clef və Clef-flash | Yüklənə bilən çəkilər və host edilmiş xidmət kimi mövcuddur. Nəşr olunmuş dizaynları dil modeli əsası ilə cavablara bal verir. |
| OpenAI Decisions API | Seçimlər, bəli/xeyr hökmləri və ballar üçün host edilmiş interfeys. Hazırda gpt-6-luna istifadə edərək açıq beta mərhələsindədir. |
Mənbələr: TypeSafe, Cloudflare və OpenAI.
Onların cavab formatları və dəstəklənən girişləri fərqlidir. OpenAI həmçinin imtina cavabı da qaytara bilər ki, tətbiq bunu idarə etməlidir. Bir provayderdən digərinə keçmək həm inteqrasiyanı, həm də cavabların keyfiyyətini yoxlamağı tələb edir.
Ehtimallar sizə nə deyir?
Ehtimal, modelin verdiyiniz suala əsasən müəyyən bir cavab üçün təxminini ifadə edir. Bu, tətbiqinizə tək qalib etiketindən daha çox məlumat verir. Lakin bu rəqəmlərə əsasən hansı halların insan yoxlamasından keçmədən avtomatik istifadə oluna biləcəyinə qərar verməzdən əvvəl onları test etmək lazımdır.
Biletimiz üçün bu nəticələri təsəvvür edin:
| İcazə verilən cavab | Nümunəvi ehtimal |
|---|---|
| Billing | 92% |
| Texniki | 5% |
| Nəzərdən keçirmə | 3% |
Billing açıq qalibdir. Ödəniş və işləməyən panel haqqında qarışıq mesaj üçün billing 52%, texniki isə 43% ala bilər. Billing hələ də qalib gəlir, lakin yaxın nəticə tətbiqə nəzərdən keçirmə tələb etmək üçün əsas verir.
Kalibrləmə ehtimalların çoxlu nümunələr üzrə real nəticələrlə uyğun olub-olmadığını yoxlamaq deməkdir. 90% ətrafındakı oxşar proqnozlar arasında yaxşı kalibrlənmiş model təxminən 90% hallarda düzgün olmalıdır. 90% olaraq işarələnmiş bir cavab hələ də səhv ola bilər.
“Confidence” adlanan sahə ehtimalların nə qədər toplandığını ümumiləşdirə bilər. Bu avtomatik olaraq ölçülmüş uğur nisbəti demək deyil. TypeSafe-in confidence bələdçisi bu fərqi izah edir.
Qərar modelləri nə vaxt faydalıdır?
Qərar modelləri tapşırıq mənanı şərh etməyi tələb etdikdə və mümkün cavablar artıq məlum olduqda faydalıdır. Nümunələrə mesajların yönləndirilməsi, müvafiq sənədlərin seçilməsi və elementin rubrikaya görə qiymətləndirilməsi daxildir. Onlar yazını və ya araşdırmanı həyata keçirən generativ model ilə yanaşı işləyə bilər.
Generasiya olunmuş cavabdan qaçınmaq modelin yükünü azalda bilər. Bunun sürəti və ya xərci yaxşılaşdırıb-yaxşılaşdırmadığı şəbəkə gecikmələri, giriş ölçüsü və ehtiyat çağırışları da daxil olmaqla bütün tətbiqdən asılıdır. Qərar modelini eyni qısa cavab istənən LLM ilə müqayisə edin — lazımsız dərəcədə uzun izahla deyil.
Onların həmçinin məhdudiyyətləri var. Qərar modeli mesajı səhv oxuya, icazə verilən variantlardan yanlışını seçə və ya həddindən artıq əmin ola bilər. Müstəqil Red Hat guardrail testləri Jev-i bir tapşırıqda ən güclü tapıb, alternativlər isə başqasında onu üstələyib. Bu testlər üç məhsulun hamısını müqayisə etməyib.
Dəqiq hesablamalar və icazə yoxlamaları üçün adi kod istifadə edin. Tapşırıq yeni cavab, kod və ya izah tələb etdikdə generativ modeldən istifadə edin. Qərar modelini sınamaq üçün kiçik bir qiymətləndirmə ilə başlayın, məlum cavabları olan nümunələr toplayın və onun səhvlərini qənaət etdiyi iş həcmi ilə birlikdə ölçün.
Tez-tez verilən suallar
Qərar modeli izah yaza bilərmi?
Jev və Clef-in qərar interfeysləri yeni mətn deyil, seçimlər və ballar qaytarır. OpenAI-ın Decisions API-si də məhdud cavablar qaytarır. Tətbiq yazılı izah tələb etdikdə mətn yaradan modeldən istifadə edin.
Qərar modelini sınamaq üçün təlim məlumatları lazımdırmı?
Yeni model təlim etmədən suallar və icazə verilən cavablar müəyyən edə bilərsiniz. Dəqiqliyi yoxlamaq və hansı nəticələrin avtomatik istifadə oluna biləcəyinə qərar vermək üçün nəticələri məlum olan nümunələr hələ də lazımdır.
Qərar modeli müstəqil hərəkət edə bilərmi?
Qərar modeli bir hökm qaytarır. Tətbiqiniz ondan istifadə edib-etməməyə qərar verir, icazələri yoxlayır və istənilən əməliyyatı icra edir. Geri ödəniş etiketini seçmək geri ödənişə icazə vermir.