LLMs.txt Generator
Voer je domein in. De LLMs.txt Generator crawlt de site, kiest de pagina's die het waard zijn om aan AI-systemen te tonen, groepeert ze in secties en schrijft bij elke pagina een beschrijving. Je krijgt een gevalideerde llms.txt die je vóór publicatie kunt aanpassen.
Het verschil zit in het midden van dat proces. De generator zet je sitemap niet klakkeloos in een tekstbestand: URL's worden gefilterd, belangrijke pagina's krijgen voorrang, en de beschrijvingen komen uit de werkelijke pagina-inhoud, niet uit de metatag.
Hoe het werkt
- Voer je website in. Of wijs een sitemap aan, of plak je eigen lijst met URL's.
- De LLMs.txt Generator crawlt en analyseert. robots.txt, je sitemaps en de inhoud van elke pagina.
- Hij bouwt en valideert het bestand. Secties, beschrijvingen en een conformiteitscontrole.
- Jij controleert, bewerkt en publiceert. Er gaat niets weg zonder jouw akkoord.
Meer dan een sitemap-naar-llms.txt-converter
Een eenvoudige generator doet één ronde: sitemap erin, URL's met metabeschrijvingen eruit. Zo belanden de inlogpagina, de winkelwagen en honderd lege blogberichten in een gepubliceerd bestand.
| Functie | DiagnoSEO | Andere generatoren |
|---|---|---|
| Crawlt de werkelijke pagina-inhoud | ✅ | Wisselend |
| Filtert URL's zonder waarde | ✅ | Wisselend |
| Geeft belangrijke pagina's voorrang | ✅ | Wisselend |
| Maakt logische secties | ✅ | Wisselend |
| Schrijft beschrijvingen uit de inhoud | ✅ | Wisselend |
| Schrijft in de taal van de site | ✅ | Wisselend |
| Ingebouwde validatie | ✅ | Wisselend |
| Bewerken vóór downloaden | ✅ | Wisselend |
| Toont overgeslagen URL's met reden | ✅ | Wisselend |
| Vergelijkt je bestaande llms.txt | ✅ | Wisselend |
| Genereert llms-full.txt | ✅ | Wisselend |
Wat de LLMs.txt Generator precies doet
- Sitemap eerst. Leest robots.txt en verwerkt sitemap-indexbestanden en met gzip ingepakte sitemaps.
- Crawl als terugvaloptie. Geen sitemap? Pagina's worden gevonden via interne links op je homepage.
- Parallel ophalen houdt ook grotere crawls snel.
- Slimme URL-selectie. Documentatie, producten, diensten, prijzen, over ons en contact gaan voor.
- Ruis eruit. Bestanden, inloggen, winkelwagen, paginering, tag- en datumarchieven, filterparameters.
- Eigen uitsluitingen. Voeg URL-fragmenten toe die je wilt overslaan, zoals
/tag/of?filter=. - Sectiebalans voorkomt dat een grote blog je documentatie verdringt.
- Titels opschonen. „Prijzen | Merk” wordt „Prijzen”.
- H2-secties plus een
Optional-sectie voor bijzaken. - Samenvatting en paginabeschrijvingen geschreven uit de echte inhoud, in de taal van je site.
- Terugval op de metabeschrijving als het model niet bereikbaar is, zodat je altijd een bruikbaar bestand krijgt.
- Validatie vóór het downloaden, inclusief de Chrome Lighthouse-criteria.
- Vergelijking met de llms.txt die al op je domein staat.
- Transparante bronnen. Elke opgenomen URL staat in de lijst en kun je uitvinken; elke overgeslagen URL toont waarom.
- llms-full.txt met de volledige pagina-inhoud, uit dezelfde crawl.
Wat is llms.txt
llms.txt is een Markdown-bestand dat beschreven staat in het voorstel llmstxt.org, gepubliceerd door Jeremy Howard (Answer.AI) in september 2024 en in augustus 2026 bijgewerkt naar v2. Het is een voorstel vanuit de community, geen W3C- of IETF-standaard.
De structuur is kort: een H1 met de naam van de site (het enige verplichte element), een samenvatting als blockquote, een optionele alinea context en daarna H2-secties met Markdown-links, waarbij een dubbele punt een korte notitie inleidt. Een sectie met de naam Optional markeert inhoud die een agent mag overslaan als de context krap is.
Het bestand mag in de hoofdmap van het domein staan of op elk pad daarbinnen. v2 staat bestanden met een beperkt bereik toe: /docs/llms.txt dekt alles onder /docs/, en agents horen het meest specifieke toepasselijke bestand te gebruiken.
Wat is llms-full.txt
llms-full.txt is een conventie die populair werd door documentatieplatforms en geen onderdeel is van de specificatie. In plaats van links met beschrijvingen bevat het de volledige inhoud van je pagina's als Markdown, samengevoegd tot één document.
Het is vooral zinvol waar gebruikers AI-assistenten detailvragen stellen: documentatie, SaaS-producten, kennisbanken. Beide bestanden komen uit dezelfde crawl en blijven daardoor consistent.
llms.txt, sitemap.xml en robots.txt
Drie bestanden, drie taken. Ze vervangen elkaar niet, en een goed onderhouden site levert alle drie.
| robots.txt | sitemap.xml | llms.txt | |
|---|---|---|---|
| Bedoeld voor | Crawlers | Zoekmachines | Taalmodellen en agents |
| Beantwoordt | Wat gecrawld mag worden | Welke URL's bestaan | Waar de kernpagina's over gaan |
| Formaat | Richtlijnen | XML | Markdown |
| Bevat beschrijvingen | Nee | Nee | Ja |
| Regelt toegang | Ja | Nee | Nee |
| Bereik | Domein | Domein | Domein of pad |
Waarom uitgevers er een willen
- Regie. Jij bepaalt welke pagina's en beschrijvingen je toont, in plaats van een model te laten afleiden uit HTML vol navigatie en scripts.
- Machineleesbaarheid. Markdown is voor compatibele agents en tools eenvoudiger te verwerken dan een gerenderde pagina.
- Contextefficiëntie. Een beknopte kaart past in een contextvenster waar je hele site nooit in zou passen.
- Lage kosten. Niets om te onderhouden in je stack en geen effect op de prestaties.
Het formaat wordt gepubliceerd door de documentatieteams van OpenAI, Anthropic en Gemini, en automatisch gegenereerd door platforms als Mintlify, GitBook en Wix en door de plugins Yoast SEO en AIOSEO.
Wat llms.txt niet doet
- Het blokkeert geen crawlers. Toegangsbeheer hoort in robots.txt.
- Het vervangt robots.txt noch sitemap.xml.
- Het garandeert geen vermeldingen in ChatGPT, Perplexity, Gemini of Claude.
- Het is geen bevestigde rankingfactor bij Google.
- Het is niet verplicht, en het gebruik verschilt per AI-systeem.
- Het compenseert geen dunne content of een site die crawlers niet kunnen bereiken.
Wie meer citaties belooft op basis van het bestand alleen, belooft iets dat niemand nu kan aantonen. De waarde zit in regie en leesbaarheid.
Validatie en de Chrome Lighthouse-controle
Chrome Lighthouse 13.3 voegde de experimentele categorie Agentic Browsing toe. Een van de audits controleert basiskenmerken van een gepubliceerde llms.txt: een H1-kop, minstens één echte Markdown-link in de vorm [Titel](URL) en een lengte boven 50 tekens.
De generator bootst de controles van dat audit na. Het is een structuurcontrole, geen rankingsignaal in Google Search. Voor het audit zelf geldt een ontbrekend bestand als niet van toepassing, terwijl een gepubliceerd bestand dat zakt als fout gemeld kan worden.
Daarom draait de validatie vóór het downloaden: llmstxt.org-structuur, de drie Lighthouse-criteria, dubbele URL's, links naar vreemde domeinen en bestandsgrootte. De aparte LLMs.txt checker & validator controleert een bestand dat al online staat, inclusief of de links nog werken.
Zo publiceer je het bestand
Serveer het als platte tekst op jouwdomein.nl/llms.txt, naast robots.txt. Wil je maar een deel van de site beschrijven, zet het bestand dan op dat pad, bijvoorbeeld jouwdomein.nl/docs/llms.txt. Open na het uploaden het adres en controleer of je Markdown ziet en geen 404-pagina.
| Platform | Locatie |
|---|---|
| cPanel of shared hosting | /public_html/llms.txt |
| WordPress | Hoofdmap van de site, niet /wp-content/ |
| Next.js, Nuxt, Astro, React | /public/llms.txt |
| Laravel, Symfony | /public/llms.txt |
| Shopify | Inhoud → Bestanden, daarna /llms.txt doorverwijzen naar het geüploade bestand |
| Webflow | Site-instellingen, eigen code of bestandsupload |
| Netlify, Vercel, GitHub Pages | Zet het in je public-map in de repository |
Wat in het bestand hoort
Een llms.txt is een selectie, geen archief. Voor de volledige lijst met URL's heb je je sitemap al.
- SaaS en documentatie: productoverzicht, prijzen, aan de slag, API-referentie, changelog.
- E-commerce: categorieën, topproducten, verzending, retouren, maattabellen. Geen varianten, filters of paginering.
- Lokale diensten: elke dienst apart, werkgebied, prijzen of offerte, over ons en contact.
- Uitgevers: themahubs en evergreen artikelen in plaats van de laatste vijftig berichten.
Veelgestelde vragen
-
Een Markdown-bestand met de naam van je site, een korte samenvatting en een lijst met belangrijke pagina's plus beschrijvingen. Het geeft taalmodellen en agents een beknopte kaart van je content, in plaats van ze die uit HTML te laten afleiden.
-
Nee. Het is een voorstel vanuit de community op llmstxt.org, nu in v2, en het is niet bekrachtigd door W3C of IETF. Specificatieconform betekent hier de structuur die daar beschreven staat.
-
Nee. Geen enkel systeem eist het bestand. Je publiceert het vrijwillig, om te bepalen wat je aan compatibele AI-tools toont en hoe het beschreven wordt.
-
Daar is geen bewijs voor, en deze tool belooft het niet. Het bestand maakt je content beter leesbaar en geeft je regie over de beschrijvingen, maar het is geen bevestigde rankingfactor en geen garantie op citaties.
-
Google geeft aan dat het bestand niet nodig is voor zijn AI-functies in Search. Daarnaast kan Chrome Lighthouse basiskenmerken van een gepubliceerd bestand controleren in experimentele audits. Dat is een structuurcontrole, geen rankingsignaal.
-
Serveer het als platte tekst in de hoofdmap van je domein, naast robots.txt. v2 staat ook bestanden op elk pad toe:
/docs/llms.txtdekt de inhoud onder/docs/, en agents horen het meest specifieke bestand te gebruiken. -
llms.txt is een samengestelde index van links met beschrijvingen. llms-full.txt bevat de volledige pagina-inhoud als Markdown. Het eerste is de kaart, het tweede het gebied, en alleen het eerste hoort bij de specificatie.
-
Een sitemap somt alle URL's op voor zoekmachines, zonder beschrijvingen of rangorde. robots.txt regelt de toegang van crawlers. llms.txt is een korte, samengestelde kaart met context, op maat van het contextvenster van een model.
-
Ja. Zonder sitemap worden pagina's gevonden via interne links op je homepage, met voorrang voor documentatie, producten en diensten.
-
Ja. Binnen de daglimiet krijg je het volledige bestand, zonder watermerk en zonder afgekapte preview. Betaalde abonnementen verhogen de paginalimiet en voegen llms-full.txt toe.
Genereer je llms.txt
Voer je domein in en krijg een gestructureerd, gevalideerd en bewerkbaar llms.txt-bestand, klaar om te publiceren. Geen URL's meer handmatig verzamelen. Heb je al een bestand? Controleer het met de LLMs.txt checker & validator.