Cloudflare rəsmi bloqunda “AI Gateway” üçün xərc nəzarəti funksiyalarını elan edib. Yenilik süni intellekt alətlərində token xərclərinin sürətlə artdığı bir vaxtda şirkətlərə istifadəni real vaxtda izləmək və limitləmək üçün nəzərdə tutulub.
Şirkətin açıqlamasına görə, “AI Gateway” OpenAI, Anthropic, Google və digər AI provayderlərinə gedən sorğularla tətbiqlər arasında vasitəçi qat kimi işləyir. Bu qat hər sorğunu, token sayını və xərci qeydə alır, həmçinin şəxsi məlumatlar və sirrlərin modelə göndərilməsinin qarşısını almaq üçün məzmun qaydaları təklif edir.
Xərc limitləri necə işləyir?
Yeni limitlər token sayına yox, real dollar xərcinə əsaslanır. Administratorlar büdcəni model, provayder, istifadəçi, komanda və ya tətbiq kimi atributlar üzrə təyin edə bilərlər. Limit pəncərəsi gündəlik, həftəlik və aylıq ola, sabit tarixdə yenilənə və ya sürüşən qaydada hesablana bilər.
Cloudflare bildirir ki, sistem hər sorğunun dəyərini modelin qiymətləndirməsinə əsasən hesablayır və büdcə limiti dolduqda sorğuları standart olaraq bloklayır. Alternativ olaraq “Dynamic Routes” vasitəsilə sorğular daha ucuz ehtiyat modelə yönləndirilə bilər ki, komandanın iş axını tam dayanmasın.
Şəxsiyyət əsaslı büdcələr də test olunur
Xərc limitləri bütün “AI Gateway” istifadəçiləri üçün açıq beta kimi istifadəyə verilib. Bundan əlavə, Cloudflare “Cloudflare Access” ilə inteqrasiya olunan şəxsiyyət əsaslı büdcə və siyasətləri qapalı beta rejimində sınağa başlayıb.
Bu yanaşmada sistem yalnız hansı API açarının istifadə edildiyini deyil, konkret istifadəçini, kimlik provayderi qrupunu və xidmət tokenini də görür. Məsələn, komanda üzvü üçün aylıq 500 dollar, daha təcrübəli mühəndis üçün 2000 dollar limit təyin etmək və limit dolduqda sorğunu daha ucuz modelə keçirmək mümkün olacaq.
Startaplar və proqramçı komandaları üçün təsiri
Bu yenilik süni intellekt API-lərindən aktiv istifadə edən startaplar, SaaS komandaları və daxili avtomatlaşdırma layihələri üçün praktik əhəmiyyət daşıyır. Paylaşılan API açarları ilə işləyən komandalarda xərcin kimdən və hansı iş prosesindən yarandığı bəzən aydın olmur. Real vaxt büdcəsi bu problemi azaltmağa kömək edə bilər.
Azərbaycanda AI əsaslı məhsul hazırlayan kiçik komandalar üçün bu cür idarəetmə alətləri xüsusilə vacibdir: xarici valyutada hesablanan API xərcləri ani yüksələndə məhsulun sürdürülə bilənliyə təsir edir. Büdcələri komanda, tətbiq və model səviyyəsində ayırmaq xərc proqnozunu daha aydın edir.
Nəyi izləmək lazımdır?
Cloudflare növbəti mərhələdə tapşırığın növünə görə avtomatik model seçən intellektual yönləndirmə üzərində işlədiyini bildirir. Məqsəd sadə xülasə kimi işləri daha ucuz modellərə, mürəkkəb kod və arxitektura tapşırıqlarını isə daha güclü modellərə yönləndirməkdir.
Məlumat və vizual: Cloudflare-in rəsmi bloqu.
