Hva er llms.txt, og trenger nettsiden din det?

llms.txt er en vanlig tekstfil du legger på adressen dittdomene.no/llms.txt. Innholdet er skrevet i Markdown. Filen forteller kort hvem du er og lister opp de viktigste sidene på nettstedet med en setning om hver.

Ideen ble foreslått i 2024. Tanken er at en språkmodell har begrenset plass til å lese, og at vanlige nettsider er fulle av menyer, skript og annet som ikke er innhold. Med en llms.txt får modellen en ren innholdsfortegnelse den kan starte fra.

Noen lager også en llms-full.txt. Den inneholder hele teksten fra de viktigste sidene i én fil. Det er mest brukt på dokumentasjonssider for programvare.

Nei. Det er et forslag fra enkeltpersoner i utviklermiljøet. Det er ikke vedtatt av noe standardiseringsorgan, slik robots.txt og sitemap.xml etter hvert har blitt etablerte konvensjoner som alle søkemotorer følger.

Ingen av de store leverandørene har bekreftet at crawlerne deres leser llms.txt når de velger kilder til svar. Google har sagt at de ikke bruker filen i søket sitt. Flere som har sett i serverloggene sine, melder at AI-crawlere sjelden eller aldri henter den.

Der filen faktisk brukes i dag, er når et menneske eller et utviklerverktøy peker en AI mot den. En utvikler kan for eksempel lime inn llms.txt fra en dokumentasjonsside for å gi en kodeassistent oversikt. Det er nyttig for programvareselskaper. For en klinikk eller et regnskapsbyrå er det mindre relevant.

• robots.txt sier hvem som får lov til å crawle hva. Her styrer du AI-crawlere som GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot og Google-Extended. De store aktørene respekterer den.
• sitemap.xml er en maskinlesbar liste over alle sidene du vil ha indeksert. Søkemotorene bruker den til å finne sider.
• llms.txt er en kort, kuratert oversikt skrevet for en språkmodell. Den gir ingen tillatelser og blokkerer ingenting.

En vanlig misforståelse er at llms.txt kan brukes til å nekte AI-selskaper å bruke innholdet ditt. Det kan den ikke. Vil du blokkere eller slippe inn AI-crawlere, gjør du det i robots.txt.

Sjekk robots.txt før du tenker på llms.txt. Hvis OAI-SearchBot eller PerplexityBot er blokkert der, hjelper det ikke hva du skriver i llms.txt.

Formatet er enkelt. Øverst står navnet på nettstedet som en overskrift. Så kommer et kort sammendrag som sitat. Deretter følger seksjoner med lenkelister. For en klinikk kunne innholdet sett slik ut, beskrevet linje for linje:

1. En overskrift på nivå én med navnet: Asker Fysioterapi.
2. Et sitatavsnitt med to setninger: hva klinikken tilbyr, hvor den ligger og hvem den passer for.
3. En overskrift på nivå to: Tjenester. Under den en punktliste der hvert punkt er en lenke til en tjenesteside, fulgt av kolon og en setning om hva siden forklarer.
4. En overskrift på nivå to: Praktisk. Lenker til priser, timebestilling og kontaktinformasjon.
5. En overskrift på nivå to: Optional. Lenker til sider som er mindre viktige, for eksempel personvernerklæringen. Forslaget sier at en modell kan hoppe over denne delen hvis den har lite plass.

Hold den kort. Ti til tjue lenker er nok for de fleste små bedrifter. Bruk fulle nettadresser, og skriv beskrivelsene slik at de gir mening uten resten av siden.

Du trenger den ikke. Det finnes i dag ingen dokumentasjon på at den gir flere sitater eller anbefalinger i AI-svar. Den som selger deg llms.txt som løsningen på AI-synlighet, selger mer enn filen kan holde.

Samtidig koster den nesten ingenting. På en moderne nettside kan den genereres automatisk fra den samme sidelisten som sitemapen. Da er den alltid oppdatert, og du har den klar hvis leverandørene begynner å bruke den. Vi legger den inn som en del av oppsettet når vi bygger nettsider, av den grunnen.

Vår anbefaling er enkel. Har du en utvikler som kan sette det opp på en halvtime, gjør det. Må du betale mye for det, eller må du vedlikeholde filen for hånd, bruk pengene på noe annet.

Det som beviselig påvirker om en AI finner og bruker innholdet ditt, er det samme som gjør en nettside god ellers.

1. Servergenerert HTML. Teksten må ligge i sidekilden. Flere AI-crawlere kjører ikke JavaScript.
2. Riktig robots.txt. Slipp inn søkebotene til AI-tjenestene du vil synes i.
3. Tydelige svar. Hver side starter med et kort svar på det siden handler om.
4. Strukturerte data. Se strukturerte data forklart.
5. Samstemte opplysninger og omtaler utenfor egen side. Se slik får du bedriften din anbefalt av ChatGPT.

Når disse er på plass, kan llms.txt komme som en liten ekstra ting på toppen. Vil du ha en gjennomgang av hvordan nettsiden din ser ut for en AI, er det en del av GEO-arbeidet vårt.