Google Robot

Veja como o Google descobre e armazena o conteúdo da internet

Na internet, robots, ou robôs, são aplicativos que percorrem a internet em busca de conteúdo com o objetivo de indexar ou verificar alterações ocorridas desde a última “visita” (Saiba como funcionam os sites de busca, no início do tutorial). Robots também são conhecidos como “indexadores”“bots” ou “crawlers”. Muito conhecidos na comunidade SEO, possuem até nome próprio. Os robots do Google são chamados de Googlebot, os robots do Bing de Bingbot, os robots do Yahoo de Yahoobot ou Yahoo! Slurp. Seguindo links de páginas, eles permitem aos sites de busca varrerem a internet para armazenar o conteúdo encontrado pelo caminho.

O que são links

Eles são comandos utilizados em páginas da internet que levam o internauta a outras páginas do mesmo site ou fora dele. Geralmente, o link aparece em destaque, com outra cor ou sublinhado.

Como trabalha o Googlebot

Os robots começam seu trabalho em uma determinada página. Armazenam o conteúdo e mapeiam todos os links existentes nela. Em seguida, priorizam cada um dos links e começam a segui-los, a fim de armazenar o conteúdo e mapear os links encontrados, e assim sucessivamente.

Como controlar a ação do Googlebot

Nem todo o conteúdo de um site deve ser indexado pelos robots. Páginas de login, páginas repetidas e páginas de impressão são alguns exemplos. Existem algumas formas para impedir que o seu site seja visitado pelo Googlebot. Um deles é por meio do arquivo “robots.txt”.