Crawl
Veien til sterke rangeringer og høy organisk trafikk forutsetter at søkemotorene finner, forstår og indekserer innholdet ditt korrekt. Dette kalles crawling på SEO-språket.
Grunnen til at søkemotorene kan servere deg hundretusener av treff på under et sekund innen du har trykket ”søk” bunner i at Google allerede har trålet rundt på internett og indeksert alle sider med relevans mot det søkeordet du har plottet inn. At nettsidene dine crawles er en forutsetning for at de indeksering, mens indeksering er en forutsetning for rangering. Googles indeks kan sammenlignes med en gigantisk bok som inneholder alt det åpne innholdet på det store internett.
Sitemap.xml
Det første steget man bør ta for å unngå komplikasjoner med crawling er å tilføre siden et sitemap.xml. Et sitemap kan sees på som en instruks til søkemotorene til hvilke sider som skal crawles, hvor ofte de skal crawles, og hvilken prioritet man ønsker at søkemotorene skal gi dem i forhold til de andre sidene under det samme domenet.
Hvert nettsted på internett tildeles et crawl budget av en bestemt størrelse som bestemmer hvor mye ressurser (antall sider og mengde tid) Google vil bruke på å crawle nettstedets sider per dag. For større nettsteder er slike sitemaps en velegnet måte å fortelle søkemotorene hvilke sider som bør prioriteres høyest.
Robots.txt
Grunnet et begrenset crawl budget ønsker man kun at søkemotorene skal prioritere å indeksere de sidene er viktige å vise frem i Google. Eksempler på sider som ikke er viktige å vise frem i Google er /mine-side og /catalogsearch. Robots.txt er en enkel måte å signalisere til Google hvilke sider som skal utelukkes, slik at man oppnår en mest mulig hurtig og oppdatert indeksering av de viktigste sidene.
Intern navigasjon og sidestruktur
Sidestruktur og navigasjon har en viktig rolle med tanke på optimal crawling. Dette kan du lese mer om i artikkelen om navigasjon