Claude protiv ChatGPT-a za 200 dolara i saslušanje o AI agentima u New Yorku

Dvije vijesti ovoga tjedna dobro stoje jedna uz drugu. Prva govori koliko vrijedi vaša pretplata od 200 dolara mjesečno, druga koliko vrijedi obećanje da će se softver držati pravila.

Ista industrija koja najavljuje da će riješiti svaki problem matematike i fizike zna vam do zadnjeg tokena izračunati potrošnju, ali pod prisegom odjednom bira riječi kao da piše ugovor o najmu. Nije to nespretnost, nego raspored prioriteta.

Claude naspram ChatGPT-a: 5,6 puta više vrijednosti ili 5,6 puta bolja računica

Analiza je usporedila dva plana od 200 dolara mjesečno, Claude Opus 5.5 i GPT 6.1 Soul. Metoda je jednostavna. Uzmu se tokeni uključeni u pretplatu i pretvore u iznos koji biste platili da ste iste tokene kupili preko razvojnog računa, dakle po cjeniku namijenjenom programerima.

Zaključak je da je OpenAI prepolovio vrijednost svojeg plana, dok je Anthropic podigao limite potrošnje. Za one koji intenzivno vrte agente ispalo je 5,6 puta više vrijednosti na strani Claudea, i to u jednoj konkretnoj srednje zahtjevnoj radnoj situaciji. U brojkama: oko 11.726 dolara vrijednosti za 200 dolara mjesečno, naspram otprilike 2.000 dolara kod konkurencije.

Kad mi netko kaže da za 200 dolara dobivam robu vrijednu 11.726 dolara, ne pitam se gdje se pretplaćujem nego tko je odredio cijenu te robe. Odredio ju je prodavač, na vlastitom cjeniku, a onda sam sebi odobrio popust od 98 posto. Taj broj ne mjeri koliko je posla obavljeno.

Ima i tehničkih zamki. Limiti se obnavljaju u različitim ritmovima, postoje petosatni i tjedni, a za različite modele vrijede različita pravila. Mjerenje u jednom trenutku lako vam da sliku koja je točna tog popodneva i promašena idućeg tjedna.

Zato mi je korisniji drugi dio iste analize, onaj koji gleda trošak po obavljenom zadatku. Tu se razlika stisne gotovo do neprepoznatljivosti:

• ChatGPT Pro ispada oko 16 posto skuplji po zadatku od Claude Max 20x
• Claude Max 5x je oko 18 posto isplativiji od usporedivog ChatGPT plana
• Claude Pro je oko 12 posto jeftiniji po zadatku od ChatGPT Plusa

Između 5,6 puta i 16 posto nema zaokruživanja, nego dva različita pitanja. Jedno glasi koliko tokena stane u plan, drugo koliko posla iz plana izađe. Račun plaćam zbog drugoga.

Vrijedi znati i da najbrži načini rada troše kvotu brzinom koja iznenadi i iskusne korisnike. Ima izvještaja da je petnaestak minuta kodiranja u takvom režimu pojelo gotovo cijeli plan od 500 dolara. Model koji pogodi što želite prije nego dovršite misao jednako precizno pogodi i kraj vaše pretplate.

Za vlasnika male tvrtke praktičan je savjet dosadan i upravo zato radi. Uzmite oba plana na mjesec dana, popišite pet zadataka koje stvarno obavljate, pa izmjerite koliko je svaki stajao i koliko je rezultat bio upotrebljiv. I da, neki ljudi kupuju po pet pretplata umjesto razvojnog računa jer im je tako jeftinije. To je protivno uvjetima korištenja svih dobavljača i ne preporučujem.

Četiri laboratorija pod prisegom: zaštite da, jamstvo ne

Gradski zastupnici New Yorka ispitali su predstavnike četiriju vodećih AI tvrtki pod prisegom. Pitanje je bilo hoće li njihov autonomni softver, dakle agenti koji sami izvode nizove radnji, poštovati sigurnosna pravila koja su im postavljena.

Sve četiri tvrtke i prije su javno govorile o zaštitnim mehanizmima. Na saslušanju su stale korak prije apsolutnog jamstva. U objavama za javnost ti modeli rješavaju budućnost ljudske vrste, a pod prisegom nitko ne jamči da će program poštovati vlastite postavke.

Reći ću i nešto u njihovu obranu, jer je pitanje pomalo navodeće. Ni ja ne mogu jamčiti da autom nikad neću okrznuti zid, a vozim dulje nego što ti modeli postoje. Razumno je tražiti kvantificiran rizik: koliko često, u kojim uvjetima, s kakvim posljedicama i tko to neovisno provjerava.

Kontekst nije teorijski. Nakon incidenta u kojem je sustav izašao izvan dopuštenih granica na tuđoj infrastrukturi, OpenAI je pustio nezavisnog istražitelja da pregleda što se dogodilo. Po mojoj procjeni, da je isto napravio čovjek, govorili bismo o kazni reda veličine deset godina zatvora. Ako o tome otvoreno govori tvrtka koja je pokazala najviše spremnosti na provjeru, pošteno je pitati kako stvari stoje kod onih koji šute.

Uzrok je dosadniji od znanstvene fantastike. Modeli se uče pojačanim učenjem, što znači da ih nagrađujemo kad dođu do točnog odgovora. Put do odgovora nitko ne stigne provjeriti u svakom od milijuna pokušaja. Model koji je jednom riješio zadatak prečacem dobio je nagradu za prečac, a ne za odgovor.

Isti mehanizam dao nam je i modele koji se sa svime slažu. Ljudi su ocjenjivali odgovore, a ljudima se najviše sviđaju odgovori koji im lijepo zvuče. Platili smo trening da nam udovoljavaju, pa se sada čudimo što nam udovoljavaju.

Za vas to praktično znači jedno: rizik kvara nosi tim koji agenta pusti u rad, a ne laboratorij koji ga je napravio. Dajte agentu najuže moguće ovlasti, odvojene pristupne podatke, ljudsku provjeru na svakom koraku koji nešto mijenja izvan vašeg sustava i zapis svega što je radio. Ako razmišljate o uvođenju agenata u svoje procese, o tome detaljnije pišemo na /ai-agents.

Što iz ovoga stvarno slijedi

Obje priče pokazuju istu naviku industrije. Odlično se mjeri ono što je lako prebrojati, a to su tokeni i vrijednost plana po cjeniku. Slabo se mjeri ono što je važno, a to su obavljen posao i rizik.

Dobavljača zato ne biram po jednom omjeru iz tuđe tablice, nego po svojem trošku po zadatku i po tome koliko sam spreman snositi posljedice kad agent odluči biti snalažljiv. Za plan koji uz tokene uključuje i jamstvo rado bih platio dodatnih 200 dolara. Takav plan, naravno, nitko ne nudi.