Familjebostäder är inte så lätta att hitta

2012-09-27 Av Nikke Lindqvist 5 kommentarer

Vännen och kollegan Christian Bolstad är på väg att flytta in i en lägenhet hos Familjebostäder, och söker information om det ena och det andra. Eller försöker söka information. Det går dåligt. Åtminstone om man ska försöka använda Google eller någon annan sökmotor. Faktum är att Google inte hittar en enda sida på Familjebostader.com:

Google släpps inte in på Familjebostader.com

Det som har hänt, är att Familjebostäder, har glömt att ändra i sin robots.txt-fil efter att de senast gjorde om på sajten. Så här ser filen ut:

Alla robotar är förbjudna att besöka allting på familjebostader.com. De som följer regeln får vända i dörren.

Robots.txt-filen är en liten textfil som man lägger i roten på sin sajt. Google och alla andra snälla botar kollar alltid efter denna innan de spindlar en sajt, och för varje försök att hämta en sida.

Det som står i robots.txt-filen på Familjebostader.com är följande:
På den första raden står det att alla botar (*) ska följa uppmaningen på nästa rad. Här kan man namnge särskilda botar också. Vill man inte släppa in Googlebot skriver man User-agent: Googlebot och vill man inte släppa in Bing skriver man User-agent: bingbot.

På nästa rad står det att botarna som nämnts på första raden är förbjudna att spindla filer under adressen / – alltså att de inte får besöka några som helst adresser på sajten.

Så då gör Google inte det. Och om inte Googlebot spindlar sajten, så kan naturligtvis inga sidor från sajten synas i sökresultatet.

Nu är Christian en snäll och vänlig kille, som gillar att kunna hitta saker, så han anmälde felet till Familjebostäder redan igår kväll. Det ska bli spännande att följa hur snabbt Familjebostäder reagerar och uppdaterar sin robots.txt-fil och lika spännande att se hur snabbt Google börjar tugga i sig sajten.

Uppdatering efter klokt påpekande från @stefanjanson: Familjebostäder syns ändå på sitt eget namn, trots att Google inte får indexera sidan. Men Google har själva gissat sig till title-text och description utifrån vad som står i länkar och i sajtbeskrivningen på andra sajter, som Dmoz, varifrån Google har hämtat description-texten i det här fallet.

Familjebostäders listning i Dmoz

Familjebostäder i Google-resultaten

Ytterligare uppdatering: 2012-10-01

Familjebostäder har någon gång idag tagit bort sin robots.txt-fil helt och hållet och Google har börjat tugga i sig sajten. Men fort går det inte. Hittills har de bara lyckats indexera åtta sidor:

Familjebostader.com efter att de helt tagit bort sin robots.txt-fil

Kanske hade det gått fortare om de istället hade behållit sin robots.txt-fil och istället sagt att alla botar får indexera hela sajten. Så här:

User-agent: * Disallow:

Liknande

http://twitter.com/stefanjanson Stefan Janson

Även bra exempel där man ser att Google sätter både titel och beskrivning fastän det är blockerat i robots.txt (gäller ej när du har site: prefixet)
Eftersom de inte kan läsa sidans information utgår de från ankartexter och dylikt, smart.

Det är lite sanning med modifikation att du påstår att man inte hittar något, startsidan dyker ju upp högst upp om du söker familjebostäder, vilket även din bild tydligt visar.

Hoppas att min hyresvärd går om snart, de heter ju samma fast ligger i Göteborg
- http://www.lindqvist.com/ Nikke Lindqvist
  
  Nja. De hittar ju ingen sida egentligen. Bara domänen. Det är klart bökigt för dem med namnkrocken, något som exemplifieras bra från familjebostader.se som de bara använder som trafikdelare.
  - http://twitter.com/stefanjanson Stefan Janson
    
    Sant, fast trafikdelaren gör ju mindre nytta när den ändå inte innehar 1a plats.
    Att bara sida eller domän indexerats visualiserar väl inget förutom att förhandsgranskning och cache-lagring saknas.
    
    Troligen lär sidorna indexeras snabbt så fort de får tummen ur.
    Att synas med många sidor i sökmotorer är nog av mindre vikt för just detta bolag då det lär ha kunder i kö drösvis med år framöver.
    
    Ska bli kul att se utvecklingen
    - http://www.lindqvist.com/ Nikke Lindqvist
      
      Uppdaterade posten med dina findings.
      Det finns ju massor av andra anledningar att synas bra, än att dra kunder. Framför allt är det serviceperspektivet, men även positionering mot marknaden och rekrytering.
http://twitter.com/AlfaMagnus Magnus Bråth

Det är ett så vanligt att bli kontaktad av desperata webmasters som inte förstår varför aldrig siten blir indexerad och så är det robots, noindex eller liknande.