Robôs de Busca


                                                                            Clique na imagem para melhor visualização
  

Um Web crawler é um tipo de robô de Internet ou agente de software. Em geral, ele começa com uma lista de URLs para visitar. À medida que o crawler visita essas URLs, ele identifica todos os links na página e os adiciona na lista de URLs para visitar. Tais URLs são visitadas recursivamente de acordo com um conjunto de regras.

 Crawler

É um software desenvolvido para realizar uma varredura na internet de maneira sistemática através de informação vista como relevante a sua função. Eles capturam os textos das páginas e cadastram os links encontrados e assim possibilitam encontrar novas páginas. São uma das bases das Search Engines, eles são os responsáveis pela indexação dos sites, armazenando-os na base de dados dos motores de busca. Também são conhecidos como Spider ou Bot (robô).

Spider

Também conhecido como Robô, Robot, Bot ou Crawler. São programas usados pelos mecanismos de busca para explorar a internet de maneira automática e fazer download de conteúdo web de sites web. De forma metódica, não expões o conteúdo que julga irrelevante no código fonte dos sites, e armazena o resto em seu banco de dados. Deste modo, os mecanismos de busca baseados em robôs (spider ou crawlers) que vasculham a Internet atrás de informações e classificam as buscas de acordo com os links e também os conteúdos encontrados nas páginas de busca, como é o caso do maior portal de buscas da web, o Google.

  1. Primeiro eles acham as páginas do sítio (processo chamado spidering ou crawling) e constroem uma lista de palavras e frases encontradas em cada página;
  2.  Com esta lista eles fazem um banco de dados e encontram as páginas exatas que eles devem procurar, inserindo o sítio vasculhado no banco de dados geral organizado pelas características encontradas em suas páginas. A máquina que insere o sítio no banco de dados geral se chama indexer;
  3. Depois disso o robô já está apto a encontrar este sítio quando o usuário final digitar na busca uma palavra ou expressão relativa ao conteúdo encontrado no sítio. Essa etapa é chamada query processor.
Como podemos perceber, por trás de qualquer busca realizada na internet, há uma série de mecanismos que trabalham unidos para fornecer um resultado satisfatório ao usuário. O processo parece um tanto complexo, no entanto, nada perceptível a nós, meros buscadores de informações.

SEO: O que significa essa sigla?



Trata-se do trabalho de otimizar uma página web, ou mesmo um site inteiro, de modo que ele fique mais “amigável” ou acessível aos sites de buscas, a sigla significa SEARCH ENGINE OPMITIIZATION. O objetivo das técnicas de SEO é melhorar o posicionamento de uma página nos mecanismos de busca, aumentando a probabilidade de crescimento do número de acessos.

Algumas dicas de ouro para aplicar o SEO em seu site:

- Use as palavras chave que são mais procuradas.


- Deixe seu site acessível a todos.

- Lembre-se que o título é o item mais importante no página.

- A descrição é muito importante para chamar a atenção do usuário em entrar no seu site.

- Utilize sempre “alt” nas imagens, que são os atributos para o google ler sua imagem e saber do que se trata aquela imagem.

- Url amigável sempre, não deixe sua url com códigos, pois o google quer saber de que assunto se trata aquela url.

Lembrando que, qualquer um pode aplicar essas técnicas em quaisquer sites, no entanto, o SEO se baseia em uma série de possibilidades e não é pelo simples fato de você aplicar algumas regras básicas na hora de postar seu conteúdo que seu site aumentará o número de visitantes da noite para o dia.

Busca orgânica e links patrocinados




A busca orgânica é o espaço onde os usuários realizam pesquisas nos sistemas de busca. A busca orgânica, ou resultados naturais, fornece a maior concentração de cliques como o exemplo abaixo.

Nota-se que os links patrocinados representam muito pouco em relação à busca orgânica. Os primeiros seis resultados de busca orgânica somam quase 60% dos cliques em relação ao restante da página, tornando-se assim, a situação preferida por quem quer que tenha um site.

Nota-se também que os links patrocinados na coluna lateral direita, não passam de alguns poucos cliques, onde o primeiro recebe apenas 2% de todos os cliques na página. Somente o primeiro link dos links patrocinados no topo da página, ou seja, acima da busca orgânica, é que recebe uma quantidade razoável de cliques. Os outros links dos links patrocinados são praticamente invisíveis para o usuário comum.
Mais do que trabalhar o produto, a busca orgânica trabalha a marca da empresa e este é um fator fundamental para, não somente a continuidade de uma empresa, mas também a continuidade de fazer negócios, uma vez que a tendência de todos os negócios é se tornar digital. Daí se pode ter uma noção exata da importância desse fator.
Trabalhando a imagem institucional do site, uma vez que o Google indica aqueles sites que estão na primeira página de busca, como se representassem os líderes da categoria, diferentemente dos links patrocinados, que trabalham especificamente o oferecimento de algum produto ou serviço de forma direta, a busca em links naturais pode alavancar negócios e promover a empresa de forma global, onde se deixa de ser um negócio local, abrangendo uma área de atuação muito maior, ou seja, toda a comunidade digital.
Independentemente de se trabalhar a imagem institucional, os links patrocinados se ajustam perfeitamente à estratégia de vendas de lojas virtuais, onde estas podem ter um lugar assegurado, trazendo bons resultados. Um estudo realizado pela Engine Ready baseou-se em uma análise de 20,8 milhões de visitas e 108 milhões de page views para 26 lojas virtuais em um período de 12 meses. Com base no tráfego, os visitantes que clicam em um link patrocinado têm 50% mais chances de comprar do que aqueles que vêm a partir de links orgânicos do Google. Ainda de acordo com o estudo, a taxa de conversão de links patrocinados é de 2,03% contra 1,26% da busca orgânica. Para lojas virtuais, sem dúvidas é uma forma de vender produtos, mas tudo isso tem um custo, contra a busca orgânica que é gratuita.

Fora esse fato tem outro interessante: 65% das pessoas NUNCA CLICAM EM LINKS PATROCINADOS, preferindo a busca orgânica.
A estratégia de se usar um ou outro vai depender dos objetivos de marketing digital da empresa, mas a importância da busca orgânica para a marca é fundamental. Importante também é o trabalho de SEO, pois é ele que produz resultados nos sistemas de busca, principalmente trabalhando o site para ocupar um bom posicionamento na primeira página e, entre as primeiras posições para diversos termos de busca. Esse é o contexto fundamental do SEO.

Conclusão
Que o marketing em sites de busca hoje são a melhor forma de investir e ter retorno mensurável, todo mundo sabe. Portanto, quanto mais sua empresa puder estar presente em resultados de busca, tanto melhor.
Portanto, deve ter em mente o prazo para ter retorno e o budget disponível, e assim escolher a melhor estratégia. Uma estratégia interessante, para pequenas e médias empresas, é iniciar as campanhas de Links Patrocinados do Google AdWords com uma verba maior e ir reduzindo na medida em que o tráfego da busca orgânica começar a gerar conversões, até ficar numa média de custo interessante.

CPC, CPM e CPA: O que significam essas siglas?


Para quem tem um blog ou site e utiliza sistemas de geração de renda em seus projetos é comum encontrar termos na internet como CPC, CPA e CPM, mas afinal o que é isso? Trata-se de siglas que representam a forma em que o sistema de geração de renda trabalha.




CPC (Custo Por Clique): o anunciante paga somente quando o banner receber um clique. Modelo usado no Google Adwords que vem se expandido para sites e blogs, pela rede AdSense. Tem como principal vantagem revelar o número exato de pessoas que realmente se interessaram pelo anúncio.
CPM (Custo Por Mil): o anunciante paga por mil impressões, ou seja, a cada mil vezes que o banner aparece na tela. Geralmente uma página pode oferecer até 6 posições para a publicação da peça. Quanto mais nobre a área (topo, por exemplo), mais caro é o CPM. É o modelo mais usado por portais e sites com grande número de acessos.
CPA (Custo Por Aquisição): o anunciante só paga quando há a conversão, ou seja, o objetivo é alcançado. A conversão pode ser a compra de um produto, o cadastro em uma página, o preenchimento de uma pesquisa, a visualização de um vídeo, o curtir de uma fanpage, etc. Esse modelo costuma ser mais caro para evitar prejuízo à plataforma caso a campanha não seja bem sucedida.
Contudo, pude concluir que  trata-se de siglas que representam a forma em que o sistema de geração de renda trabalha.

PageRank



Desenvolvido inicialmente por Larry Page com a posterior colaboração de Sergey Brin, fundadores do Google, o PageRank (representado por PR) foi a base para o surgimento do algoritmo do Google. Esse nome faz uma alusão ao criador (Larry Page) e ao fato de ser uma nota dada pelo Google às páginas indexadas em seus servidores. PR é uma das centenas de variáveis utilizadas pelo Google para definir quem aparece primeiro nos resultados naturais.

O PageRank de um site varia de 0 a 10. Poucos sites possuem PR=10, como o Google e a Casa Branca. No Brasil, para se ter um exemplo, a página inicial do UOL e do Terra alternam entre PR=6 e PR=8. Quanto mais alto for o PageRank, maior a possibilidade de um site aparecer bem posicionado na tela de resultados do Google.

O PageRank foi a grande sacada do Google para se tornar o site de busca preferido pela esmagadora maioria dos internautas. Inicialmente, os sites de busca se baseavam no seu algoritmo, principalmente, em elementos do próprio site. As Meta Tags e a densidade de uma determinada palavra na página e no site eram os fatores mais importantes para determinar o posicionamento do site. Esses elementos eram, porém, facilmente manipulados por webmasters que buscavam melhorar o posicionamento de seus sites no Google.

O Google criou então o PageRank, um mecanismo de "votos". Cada link de uma página
apontada para outra é considerada um "voto", uma recomendação daquela página à página para onde o link se direciona. Quanto mais importante, isto é, quanto mais alto for o PageRank da página de onde sai o link, mais importante é o "voto" dado à página de destino.
Uma página que daremos o nome de A, que recebe vários links apontados para ela de outras páginas do próprio site ou de sites externos, acumula parte do PageRank oriundo dessas páginas. Com isso, essa página se torna mais importante a cada novo link recebido, pois o PageRank dos links que apontam para ela é somado. Quanto maior o PageRank de uma página, maior a quantidade de PageRank passado para as páginas para as quais ela aponta. 
Tente conseguir um link da página inicial de um grande portal e você verá o que acontecerá com o posicionamento de seu site.

Por consequência, as páginas para as quais nossa página A apontar, internas ou para outros sites, receberão mais PageRank e, com isso, se tornarão mais "importantes" para o Google.

Vale notar que a quantidade de PageRank que uma página pode passar é dividida pelo total de links que saem da página (que apontam para outras páginas). Se a página A tiver 100 links que apontam para outras páginas internas e de outros sites, cada página de destino desses links receberá apenas 1/100 do total de PageRank que a página A pode passar. Faça essa análise ao escolher sites para posicionar links para seu site.


Como visualizar o PageRank
Existem diversas ferramentas para se visualizar o PageRank. A mais comum, que a maior parte das pessoas inclusive já têm instalado, é o Google Toolbar.

Alguns sites permitem visualizar o PageRank diretamente entrando-se a URL da página, como o do iwebtool.

É importante notar que o PageRank exibido por estas ferramentas é atualizado poucas vezes ao ano. Por isso, o PageRank que você vê não necessariamente reflete o PageRank atual daquela página. Algumas sites possuem ferramentas que procuram prever qual o PageRank atual da página.. Essas estimativas são porém longe de ser confiáveis.

Achei um artigo do GOOGLE que define bem a ideia do PageRank.

                                                                          Clique na imagem para melhor visualização



Tipos de Buscadores



Os motores de busca são separados em genéricos, focados e meta-motores de busca.
Os motores de busca genéricos recolhem e indexam o máximo de conteúdos da web, fazendo o mínimo de restrições possíveis. Como exemplos de motores de busca genéricos temos o Google, o AltaVista ou o AllTheWeb.
Os motores de busca focados procuram conteúdos específicos como páginas escritas numa determinada língua ou sobre um tema especifico. Por exemplo, o tumba! é um motor de busca focado na web portuguesa. O Krugle é um motor de busca focado na pesquisa de código fonte e documentação técnica.
Os meta motores de busca recolhem os resultados retornados por outros motores de busca e fundem-nos. Como tal, os resultados retornados são limitados aos documentos recolhidos pelos motores de busca. Como exemplos, temos o MetaCrawler, o DogPile ou o Kartoo.
Buscadores mais utilizados

Os serviços de pesquisa interna aos sites disponibilizados por alguns servidores web têm um funcionamento semelhante aos motores de busca. No entanto, os grandes motores de busca utilizam o número de ligações que uma página recebe como métrica da sua importância. Um motor de busca interno ao site apenas pode avaliar a importância de uma página considerando as ligações internas ao site e não a importância que os autores de outros sites lhe atribuíram ao criarem um link para ela. Daí que os resultados retornados por grandes motores de busca sejam normalmente melhores que os retornados por motores internos.
As regras de otimização de páginas para motores de busca são válidas para qualquer um dos seus tipos.

Buscadores




No início a internet não tinha tanto conteúdo, existiam apenas os diretórios que tinham uma busca bastante difícil e confusa. A explosão de conteúdos na web, fez com que os diretórios não dessem conta, portanto uma nova idéia surgiu: os buscadores. Atualmente o GOOGLE é referência para qualquer tipo de busca, mas saiba que ele não foi o primeiro e nem o único, existem outros buscadores específicos, então se não achou no GOOGLE, não desista e procure em outro lugar!

Cada buscador na internet utiliza um modo diferente de catalogar as páginas da internet e efetuar sua busca. Ou seja, cada site de busca vai lhe retornar resultados diferentes para o mesmo assunto. Além de oferecer serviços adicionais, buscar conteúdos específicos, utilizar sites de busca diferentes aumenta a riqueza dos resultados. Portanto, não se limite a utilizar sempre o mesmo site, conheça novos buscadores e encontre novas possibilidades.

Um pouco de história

O clássico

O primeiro site internacional de busca a ganhar uma imensa popularidade na internet foi o Yahoo!. Seu sistema era simples em meados dos anos 90, mas como a rede crescia exponencialmente, procurar se fazia cada vez mais necessário. Muito mais do que um simples site de busca, nos dias de hoje o Yahoo! se transformou em um ótimo portal e conta com diversos serviços.
Procure em lugares diferentes!O Brasil tem seus lucros...

Em 95 foi criado o primeiro site nacional para pesquisas na web: o Cadê?. Mesmo com um sistema de cadastros manual, o site fez um incrível sucesso em pouco tempo e transformou um projeto das horas vagas de dois jovens em um negócio milionário. Atualmente o site foi comprado pela Yahoo! e se chama Yahoo! Cadê?, sua aparência é bem mais enxuta, mas o mecanismo de busca é exatamente o mesmo do Yahoo!.

... e valentes

Mas enquanto o Cadê? rendeu muito ao bolso de seus criadores e o Yahoo! acabou se tornando um grande portal, outro buscador brasileiro se manteve com as próprias pernas. O Aonde também foi bastante famoso no final da década passada e resistiu sem se filiar a nenhuma empresa internacional. Atualmente ele não conta com muitos acessos, mas o Aonde continua sendo o maior site brasileiro de pesquisas.

Constante

Entre o ápice do Yahoo! e a popularização do gigante Google, existiu outro grande site internacional para pesquisas: o AltaVista. Ao contrário dos demais, este serviço não incorporou novas funções e permaneceu praticamente inalterado com o passar dos anos, conservando até a mesma aparência dos buscadores do final do século passado. O AltaVista resiste bravamente até hoje, mas seu número de acessos diminuiu com a chegada de serviços mais dinâmicos.
O contraste se destaca
Guarde este nome, el eainda pode se tornar imenso.
Não que isto esteja tirando o sono dos executivos do Google, o fato é que o Cuil é um buscador recente que assumiu uma oposição declarada ao gigante das buscas. Anna Petterson, ex-funcionária do Google e criadora do Cuil, diz que a página assume a cor preta de fundo e faz questão de utilizar símbolos opostos. Além de uma disposição diferente dos resultados, o Cuil se destaca pelo número assustador de resultados em suas buscas.



Busque muito mais em um único lugar.Portais que Buscam

Analisando o exemplo dos grandes sites de busca da atualidade, não é difícil deduzir que o futuro da web é integrar diversos serviços em um mesmo domínio. Veja o gigante Google, atualmente ele oferece e-mail, mapas, chat em tempo real, notícias e muito mais.

Quem nunca encontrou ao acaso aquela bola perdida há muito tempo enquanto buscava por uma caixa? O internauta adora praticidade, então que tal saber se alguma das últimas novidades não lhe chama a atenção enquanto efetua sua busca? O futuro dos buscadores e de todos os demais serviços importantes da internet é integrar conteúdo, tornando a navegação do usuário Daca vez melhor.

 

Quem são?
O MSN também busca.
Quem é que não conhece a famosa borboleta do MSN? Além de trazer todos seus amigos para perto de você sempre, em seu portal o usuário conta com o Live Search. Seu buscador também pode ser integrado ao navegador e atualmente representa uma das melhores opções de busca.
o usuário encontra a página do Terra recheada de notícias antes de começar sua busca. O UOL resolveu separar um pouco os assuntos dedicando uma página apenas você encontrar o que procura com o UOL Busca. Finalmente, o IG também conta com o IG Busca, página exclusiva para buscar páginas, imagens, compras e por temas específicos de notícias, vale à pena conferir!


Resumindo


O Google pode ser referência em pesquisas, mas cuidado, pois existem outros buscadores que são mais específicos para determinados assuntos, a idéia é saber utilizar de todos os buscadores, procurando usufruir ao máximo de cada um, e sair da web satisfeito.