Słowem wstę­pu

Na po­czą­tek wy­ja­śnię po­krót­ce, że Googlebot to ro­bot in­dek­su­ją­cy sieć. Robot ten po­bie­ra nie­zli­czo­ne ilo­ści stron. Podczas te­go pro­ce­su Googlebot wy­kry­wa no­we lub też zak­tu­ali­zo­wa­ne stro­ny i do­da­je je do in­dek­su Google. Taki pro­ces spra­wia, że ro­bot wi­dzi o wie­le wię­cej niż wi­dzi prze­cięt­ny użyt­kow­nik. Kiedy Googlebot tra­fia już na stro­nę to na po­cząt­ku za­wsze spraw­dza czy do­stęp­ny jest plik robots.txt, któ­ry słu­ży do za­wę­że­nia za­kre­su dzia­ła­nia ro­bo­ta na stro­nie. Tak więc ist­nie­je moż­li­wość omi­nię­cia kil­ku miejsc przez bo­ta i nie­za­in­dek­so­wa­nie ich. Najczęściej jed­nak za­ka­zu­je się wstę­pu (di­sal­low) do ka­ta­lo­gów cgi-bin, pry­wat­nych, tym­cza­so­wych. Jednak ca­ła resz­ta stro­ny jest do­stęp­na do wglą­du dla ro­bo­ta.