Słowem wstępu

Na po­czą­tek wy­ja­śnię po­krótce, że Googlebot to ro­bot in­dek­su­jący sieć. Robot ten po­biera nie­zli­czone ilo­ści stron. Podczas tego pro­cesu Googlebot wy­krywa nowe lub też zak­tu­ali­zo­wane strony i do­daje je do in­deksu Google. Taki pro­ces spra­wia, że ro­bot wi­dzi o wiele wię­cej niż wi­dzi prze­ciętny użyt­kow­nik. Kiedy Googlebot tra­fia już na stronę to na po­czątku za­wsze spraw­dza czy do­stępny jest plik robots.txt, który służy do za­wę­że­nia za­kresu dzia­ła­nia ro­bota na stro­nie. Tak więc ist­nieje moż­li­wość omi­nię­cia kilku miejsc przez bota i nie­za­in­dek­so­wa­nie ich. Najczęściej jed­nak za­ka­zuje się wstępu (di­sal­low) do ka­ta­lo­gów cgi-bin, pry­wat­nych, tym­cza­so­wych. Jednak cała reszta strony jest do­stępna do wglądu dla ro­bota.