Kui veebilehte külastavad mitte ainult inimesed: kuidas AI-robotid veebimajutust muudavad?

Internetil on uus sihtrühm

Sel aastal teatas Cloudflare, et automatiseeritud liiklus nende võrgus ületas esimest korda inimeste tekitatud liikluse. Septembri lõpus avaldas ettevõte ka, et AI agentide igapäevased päringud nende võrgus on aastaga kasvanud üle 1700 protsendi.

See on oluline muutus, sest AI süsteemid suhtlevad veebilehtedega teisiti kui inimene. Inimene võib lehe avada, artikli läbi lugeda, mõne lehe vaadata ja lahkuda. Automatiseeritud süsteem võib lühikese aja jooksul saata palju päringuid, analüüsida suurt hulka lehti või naasta perioodiliselt, et kontrollida, kas sisu on muutunud.

Seetõttu pole veebilehe omanikule olulised mitte ainult külastajate arv, vaid ka see, kes liiklust tekitab ja kuidas see veebilehe infrastruktuuri mõjutab.

Mitte kõik AI-robotid ei tee sama asja

AI liikluse puhul on oluline mitte käsitleda seda ühe suure kategooriana:

• AI otsingu crawlerid koguvad ja indekseerivad veebilehtede sisu, et seda saaks kasutada kasutajate küsimustele vastamiseks.
• AI agendid võivad kasutaja nimel reaalajas veebilehti külastada – näiteks teavet otsida, tooteid võrrelda või muud ülesannet täita.
• AI treenimiseks mõeldud crawlerid koguvad avalikult kättesaadavat sisu mudelite treenimiseks või täiustamiseks.

See pole pelgalt teoreetiline jaotus. Infrastruktuuripakkujad eristavad AI liiklust eesmärgi järgi juba praegu, andes veebilehtede omanikele võimaluse iga liiklusliiki eraldi hallata.

Mida see veebimajutuse jaoks tähendab?

Iga päring veebilehele võib tekitada teatud infrastruktuuri koormust, kuid selle suurus sõltub sellest, kuidas veebileht ja selle infrastruktuur on seadistatud.

Kui veebileht kasutab vahemälu (caching) või CDN-i, võib osa päringuid olla teenindatud ilma põhiserverit koormamata. Kuid dünaamiliselt genereeritav sisu, andmebaasipäringud ja muud serveripoolsed toimingud võivad siiski serveri ressursse kasutada.

Suur automatiseeritud päringute hulk on eriti oluline lehtedele, mis:

• sisaldavad palju lehti või sisu;
• haldavad suurt tootekataloogi;
• on sageli uuendatavad;
• kasutavad keerukaid andmebaase;
• pakuvad andmeid API kaudu;
• või teenindavad korraga suurt kasutajate hulka.

Seega automatiseeritud liikluse kasvades muutuvad serveri võimsus ja õigesti seadistatud infrastruktuur veelgi olulisemaks.

Kas AI-roboteid tuleks blokeerida?

Mitte tingimata. Kogu AI liikluse automaatne blokeerimine oleks liiga lihtsustatud. Mõned crawlerid võivad aidata sinu sisul AI otsingus leitavaks saada ning AI agendid võivad muutuda veel üheks kanaliks, mille kaudu kasutajad ettevõtteid, teenuseid või tooteid leiavad.

Teisalt pole iga robot kasulik. Mõned võivad tekitada palju päringuid, tuues kaasa ei külastajaid ega potentsiaalseid kliente.

Seetõttu pole peamine valida „luba“ ja „blokeeri“ vahel, vaid mõista, milline liiklus lehele jõuab ja mida see teeb. Täna on võimalik kasutada palju täpsemat haldust: AI liiklust saab jaotada eesmärgi järgi – otsing, agentide tegevus või mudelite treenimine – ning seada igale kategooriale erinevad reeglid.

Mida saab veebilehe omanik teha?

Esimene samm on liiklust jälgida. Kui veebilehe külastatavus või serveri koormus järsku suureneb, tasub välja selgitada mitte ainult päringute koguarv, vaid ka nende allikas. Serverilogid, analüütika ja turvalahendused aitavad tuvastada, millised robotid lehte külastavad, kui palju päringuid nad saadavad ja milliseid lehti nad vaatavad.

Samuti on oluline hoolitseda põhiasjade eest:

• Piisavad serveri ressursid. Veebimajutus peab toime tulema mitte ainult tavapärase külastajate liiklusega, vaid ka selle kõikumiste ja automatiseeritud päringutega.
• Caching. Õigesti kasutatav vahemälu võib vähendada korduvate päringute koormust põhiserverile.
• CDN. Osa staatilisest sisust saab edastada kasutajale lähemal asuvatest serveritest, mis vähendab põhiserveri koormust ja kiirendab sisu kättesaamist.
• Robotite ja turvareeglid. Kogu automatiseeritud liiklust ei tohi hinnata ühtmoodi. Vajaduse korral saab piirata soovimatuid roboteid, päringute sagedust või muud kahtlast tegevust.
• Pidev jälgimine. Oluline on märgata mitte ainult seda, et veebileht aeglustus, vaid ka mõista, mis koormuse põhjustas.

Kui sul on kahtlusi infrastruktuuri võimsuses või näed ebatavalist liiklust, tasub selle põhjust ja sobivaid lahendusi hinnata koos veebilehe administraatori või majutuspakkujaga.

Veebimajutus pole enam ainult koht veebilehele

AI muudab mitte ainult seda, kuidas inimesed teavet otsivad, vaid ka interneti infrastruktuuri ennast. Veebileht peab täna olema valmis teenindama mitte ainult inimest, kes tuleb sisu lugema, vormi täitma või ostu tegema. Üha rohkem päringuid võib tulla süsteemidest, mis analüüsivad, indekseerivad või võrdlevad teavet või kasutavad seda, et hiljem anda vastus teisele inimesele.

See tähendab, et veebimajutus on oluline mitte ainult veebilehe toimimiseks, vaid ka selle võimeks toime tulla uue, üha automatiseeritumaks muutuva interneti liiklusega. Seetõttu tasub majutust valides või hinnates mõelda mitte ainult tänasele külastajate arvule.