Pojęcie to używane jest w odniesieniu do indeksowania stron internetowych przez przeglądarki. Określa liczbę stron dopuszczonych do indeksowania i pobranych przez boty przemierzające przestrzenie Internetu.

 

Ograniczony czas

 

W wypadku olbrzymich witryn internetowych programy indeksujące po prostu nie mieszczą się w przewidzianym na wizytę czasie i nie wchodza na wszystkie strony.

 

Serwismusi mieć dobrze zbudowaną strukturę linków wewnetrznych aby ułatwić robotom indeksację. Nie powinno być żadnej podstrony w obrębie całej strony która nie byłaby połączona z innymi stronami.

 

 

Kombinacja dwóch parametrów

 

Budżet indeksacji zawiera dwa elementy.

 

Crawl rate limit

 

Crawl budget to kompromis i permanentna praca, którą realizują crawlery. Praca nigdy się nie kończy. Przeglądarka, jeśli chce być na bieżąco, musi dzielić czas dostępności i zajętości serwera na wszystkie odwiedzane witryny. Dlatego limitując czas wizuty, optymalizuje wyniki pracy botów.

 

Crawl demand – wyznacza jak często aplikacje indeksujące, łączą się z serwerem serwisu.

 

pozycjonowanie stron Olsztyn

 

Dopiero balans obu zjawisk przesądza o całym obrazie. Chcąc zapewnić równowagę obu zdarzeń i utrzymać ich stosunkowo dużą wartość trzeba dbać o atrakcyjność witryny, czyli jej subiektywny współczynnik merytoryczny i regularnie monitorować warunki techniczne, które mogą ulec zmianie podczas np. przebudowy kodu źródłowego strony.

 

Ogólny stan sprzyjający szybkiej indeksacji nazywany jest crawl health, czyli zdrowie. Charakterystycznymi właściwościami stanu zdrowia jest np. szybkość ładowania się plików całej strony internetowej do stanu najniższej z możliwych pełnej funkcjonalności dla użytkownika. A czas, w jakim odpowiada serwer witryny, daje robotom więcej czasu na pobranie większej ilości danych o poszczególnych podstronach.