Robot vyhľadávacieho modulu je zodpovedný za prehľadávanie webových stránok. Program automaticky načíta údaje zo všetkých stránok a zaregistruje ich v podobe, ktorá je zrozumiteľná samotnému vyhľadávaču, takže systém neskôr zobrazí pre používateľa najvhodnejšie výsledky.
Funkcie
Všetky indexované informácie sa zaznamenávajú do spoločnej databázy.
Vyhľadávací robot je program, ktorý automaticky cestuje po stránkach internetu, vyžaduje potrebné dokumenty a prijíma štruktúru prehľadávaných webov. Robot nezávisle vyberie stránky, ktoré sa majú skenovať. Vo väčšine prípadov sú stránky, ktoré sa majú skenovať, vybrané náhodne.
Typy topánok
Nesprávne fungujúci robot významne zvyšuje zaťaženie siete a servera, čo môže spôsobiť nedostupnosť prostriedku.
Každý vyhľadávač má niekoľko programov nazývaných roboty. Každý z nich môže vykonávať určitú funkciu. Napríklad v spoločnosti Yandex sú niektorí roboti zodpovední za skenovanie noviniek RSS, čo bude užitočné pri indexovaní blogov. Existujú aj programy, ktoré vyhľadávajú iba obrázky. Najdôležitejšou vecou je však indexovací robot, ktorý tvorí základ pre každé vyhľadávanie. K dispozícii je tiež pomocný rýchly robot určený na vyhľadávanie aktualizácií o spravodajských kanáloch a udalostiach.
Postup skenovania
Ďalším spôsobom, ako zabrániť prehľadávaniu obsahu, je vytvoriť prístup na web prostredníctvom registračného panelu.
Pri návšteve stránky program skenuje súborový systém na prítomnosť súborov pokynov robots.txt. Ak existuje dokument, začne sa čítanie smerníc napísaných v dokumente. Súbor Robots.txt môže zakázať alebo naopak povoliť skenovanie určitých stránok a súborov na webe.
Proces skenovania závisí od typu programu. Roboty niekedy čítajú iba názvy stránok a niekoľko odsekov. V niektorých prípadoch sa skenovanie vykonáva v celom dokumente v závislosti od označenia HTML, ktoré môže tiež slúžiť ako prostriedok na určenie kľúčových fráz. Niektoré programy sa špecializujú na skryté alebo metaznačky.
Pridáva sa do zoznamu
Každý správca webu môže zabrániť vyhľadávaciemu modulu v prehľadávaní stránok prostredníctvom súboru robots.txt alebo značky META. Tvorca webov tiež môže web manuálne pridať do poradia indexovania, ale jeho pridanie neznamená, že robot okamžite prehľadá požadovanú stránku. Ak chcete pridať web do poradia, poskytujú vyhľadávače aj špeciálne rozhrania. Pridanie stránky výrazne urýchľuje proces indexovania. Na rýchlu registráciu do vyhľadávacieho nástroja možno tiež použiť systémy webovej analýzy, adresáre webových stránok atď.
