Vännen och kollegan Christian Bolstad är på väg att flytta in i en lägenhet hos Familjebostäder, och söker information om det ena och det andra. Eller försöker söka information. Det går dåligt. Åtminstone om man ska försöka använda Google eller någon annan sökmotor. Faktum är att Google inte hittar en enda sida på Familjebostader.com:
Google släpps inte in på Familjebostader.com
Det som har hänt, är att Familjebostäder, har glömt att ändra i sin robots.txt-fil efter att de senast gjorde om på sajten. Så här ser filen ut:
Alla robotar är förbjudna att besöka allting på familjebostader.com. De som följer regeln får vända i dörren.
Robots.txt-filen är en liten textfil som man lägger i roten på sin sajt. Google och alla andra snälla botar kollar alltid efter denna innan de spindlar en sajt, och för varje försök att hämta en sida.
Det som står i robots.txt-filen på Familjebostader.com är följande:
På den första raden står det att alla botar (*) ska följa uppmaningen på nästa rad. Här kan man namnge särskilda botar också. Vill man inte släppa in Googlebot skriver man User-agent: Googlebot och vill man inte släppa in Bing skriver man User-agent: bingbot.
På nästa rad står det att botarna som nämnts på första raden är förbjudna att spindla filer under adressen / – alltså att de inte får besöka några som helst adresser på sajten.
Så då gör Google inte det. Och om inte Googlebot spindlar sajten, så kan naturligtvis inga sidor från sajten synas i sökresultatet.
Nu är Christian en snäll och vänlig kille, som gillar att kunna hitta saker, så han anmälde felet till Familjebostäder redan igår kväll. Det ska bli spännande att följa hur snabbt Familjebostäder reagerar och uppdaterar sin robots.txt-fil och lika spännande att se hur snabbt Google börjar tugga i sig sajten.
Uppdatering efter klokt påpekande från @stefanjanson: Familjebostäder syns ändå på sitt eget namn, trots att Google inte får indexera sidan. Men Google har själva gissat sig till title-text och description utifrån vad som står i länkar och i sajtbeskrivningen på andra sajter, som Dmoz, varifrån Google har hämtat description-texten i det här fallet.
Familjebostäders listning i Dmoz
Familjebostäder i Google-resultaten
Ytterligare uppdatering: 2012-10-01
Familjebostäder har någon gång idag tagit bort sin robots.txt-fil helt och hållet och Google har börjat tugga i sig sajten. Men fort går det inte. Hittills har de bara lyckats indexera åtta sidor:
Familjebostader.com efter att de helt tagit bort sin robots.txt-fil
Kanske hade det gått fortare om de istället hade behållit sin robots.txt-fil och istället sagt att alla botar får indexera hela sajten. Så här:
User-agent: *
Disallow:
