Indexovanie je proces skenovania súborov umiestnených na internetovom prostriedku vyhľadávacím robotom. Tento postup sa vykonáva tak, aby bola stránka k dispozícii vo výsledkoch vyhľadávania pre rôzne dotazy vo vyhľadávači. Medzi najväčšie vyhľadávače súčasnosti patrí Yandex, ktorý vykonáva toto skenovanie vlastným spôsobom.
Inštrukcie
Krok 1
Indexovanie internetovej stránky sa vykonáva špeciálnymi automatickými programami - vyhľadávacími robotmi, ktoré automaticky sledujú vzhľad nových webov v sieti WWW, neustále skenujú internetové stránky umiestnené na internete, súbory a odkazy na ne v každom zdroji.
Krok 2
Na skenovanie robot prejde do adresára, kde sa nachádza zdroj na konkrétnom serveri. Pri výbere nového miesta sa robot riadi jeho dostupnosťou. Napríklad existuje názor, že Yandex najskôr skenuje stránky vytvorené v ruskej doméne a v ruštine - ru, rf, su alebo ua, až potom sa presunie do ďalších regiónov.
Krok 3
Robot prejde na web a naskenuje jeho štruktúru. Najskôr vyhľadá súbory, ktoré naznačujú ďalšie vyhľadávanie. Napríklad je web prehľadaný na súbor Sitemap.xml alebo robots.txt. Tieto súbory možno použiť na nastavenie správania vyhľadávacieho robota pri skenovaní. Pomocou súboru sitemap (sitemap.xml) získa robot presnejšiu predstavu o štruktúre zdroja. Správca webu používa súbor robots.txt na definovanie súborov, ktoré by nechcel zobrazovať vo výsledkoch vyhľadávania. Môžu to byť napríklad osobné informácie alebo iné nežiaduce údaje.
Krok 4
Po naskenovaní týchto dvoch dokumentov a prijatí potrebných pokynov začne robot analyzovať HTML kód a spracovať prijaté značky. V predvolenom nastavení, ak neexistuje súbor robots.txt, začne vyhľadávač spracovávať všetky dokumenty uložené na serveri.
Krok 5
Kliknutím na odkazy v dokumentoch robot tiež získa informácie o ďalších lokalitách, ktoré sú zaradené do frontu na skenovanie podľa tohto zdroja. Naskenované súbory na webe sa ukladajú ako textová kópia a štruktúra na servery v dátových centrách Yandex.
Krok 6
Potrebu opätovného skenovania tiež automaticky určujú roboty. Program pri opätovnom indexovaní porovná existujúci výsledok kontroly s aktualizovanou verziou stránky. Ak sa údaje prijaté programom líšia, kópia stránky sa aktualizuje aj na serveri Yandex.
