LLMs.txt generaator
Sisesta oma domeen. LLMs.txt generaator läbib veebilehe, valib välja lehed, mida tasub tehisintellektisüsteemidele näidata, rühmitab need jaotisteks ja kirjutab igaühele kirjelduse. Saad kontrollitud llms.txt faili, mida saad enne avaldamist muuta.
Erinevus peitub selle protsessi keskel. Generaator ei kalluta sinu saidikaarti tekstifaili: URL-id filtreeritakse, tähtsad lehed saavad eesõiguse ja kirjeldused sünnivad lehe tegelikust sisust, mitte metasildist.
Kuidas see töötab
- Sisesta oma veebileht. Või osuta saidikaardile või kleebi oma URL-ide loend.
- Tööriist läbib ja analüüsib. robots.txt, sinu saidikaardid ja iga lehe sisu.
- See koostab ja kontrollib faili. Jaotised, kirjeldused ja vastavuse kontroll.
- Vaatad üle, muudad ja avaldad. Miski ei lahku lehelt ilma sinu heakskiiduta.
Enam kui saidikaardi teisendaja llms.txt-iks
Lihtne generaator teeb ühe ringi: sisse saidikaart, välja URL-id metakirjeldustega. Nii satuvad avaldatud faili sisselogimisleht, ostukorv ja sada tühja blogipostitust.
| Võimalus | DiagnoSEO | Teised generaatorid |
|---|---|---|
| Loeb lehtede tegelikku sisu | ✅ | Erineb |
| Filtreerib väärtusetud URL-id | ✅ | Erineb |
| Eelistab tähtsaid lehti | ✅ | Erineb |
| Loob loogilised jaotised | ✅ | Erineb |
| Kirjutab kirjeldused lehe sisust | ✅ | Erineb |
| Kirjutab veebilehe keeles | ✅ | Erineb |
| Sisseehitatud kontroll | ✅ | Erineb |
| Muutmine enne allalaadimist | ✅ | Erineb |
| Näitab vahele jäetud URL-e ja põhjust | ✅ | Erineb |
| Võrdleb sinu olemasoleva llms.txt-iga | ✅ | Erineb |
| Loob llms-full.txt | ✅ | Erineb |
Mida LLMs.txt generaator tegelikult teeb
- Kõigepealt saidikaart. Loeb robots.txt faili ning tuleb toime saidikaardi indeksite ja gzip-pakitud saidikaartidega.
- Varuvariandina läbimine. Saidikaarti pole? Lehed leiame avalehe sisemiste linkide kaudu.
- Paralleelne allalaadimine hoiab ka suuremad läbimised kiirena.
- Nutikas URL-ide valik. Eesõigus on dokumentatsioonil, toodetel, teenustel, hindadel, meist ja kontaktil.
- Müra välja. Failid, sisselogimine, ostukorv, leheküljendus, siltide ja kuupäevade arhiivid, filtriparameetrid.
- Omad välistused. Lisa URL-i osad, mis tuleb vahele jätta, näiteks
/tag/või?filter=. - Jaotiste tasakaalustamine takistab suurel blogil dokumentatsiooni välja tõrjuda.
- Pealkirjade puhastus. „Hinnad | Bränd“ muutub „Hinnad“.
- H2 jaotised ning
Optionaljaotis teisejärgulise sisu jaoks. - Kokkuvõte ja lehtede kirjeldused kirjutatud tegelikust sisust, sinu veebilehe keeles.
- Varuks metakirjeldus, kui mudel pole saadaval, nii et saad alati kasutatava faili.
- Kontroll enne allalaadimist, sealhulgas Chrome Lighthouse'i kriteeriumid.
- Võrdlus sinu domeenil juba avaldatud llms.txt failiga.
- Läbipaistvad allikad. Iga kaasatud URL on loendis ja selle saab maha võtta; iga vahele jäetu juures on põhjus.
- llms-full.txt lehtede täissisuga, samast läbimisest.
Mis on llms.txt
llms.txt on Markdown-fail, mida kirjeldab ettepanek llmstxt.org. Jeremy Howard (Answer.AI) avaldas selle 2024. aasta septembris ja 2026. aasta augustis uuendati see versioonini v2. Tegu on kogukonna veetava ettepanekuga, mitte W3C või IETF standardiga.
Ülesehitus on lühike: H1 veebilehe nimega (ainus kohustuslik osa), kokkuvõte tsitaadiplokis, valikuline kontekstilõik ja seejärel H2 jaotised Markdown-linkidega, kus koolon juhatab sisse lühikese märkuse. Jaotis nimega Optional märgib sisu, mille agent võib kitsa konteksti korral vahele jätta.
Fail võib asuda domeeni juurkaustas või ükskõik millisel teel selle sees. v2 lubab piiratud ulatusega faile: /docs/llms.txt katab kõik, mis on /docs/ all, ja agendid peaksid kasutama kõige täpsemat sobivat faili.
Mis on llms-full.txt
llms-full.txt on dokumentatsiooniplatvormide levitatud tava, mitte spetsifikatsiooni osa. Linkide ja kirjelduste asemel kannab see lehtede täielikku sisu markdownis, koondatuna ühte dokumenti.
Sellel on mõtet seal, kus kasutajad esitavad tehisintellektiabilistele üksikasjalikke küsimusi: dokumentatsioon, SaaS-tooted, teadmusbaasid. Mõlemad failid sünnivad samast läbimisest ja jäävad seetõttu kooskõlaliseks.
llms.txt, sitemap.xml ja robots.txt
Kolm faili, kolm ülesannet. Nad ei asenda üksteist ja hästi hoitud veebileht pakub kõiki kolme.
| robots.txt | sitemap.xml | llms.txt | |
|---|---|---|---|
| Kellele mõeldud | Roomajatele | Otsimootoritele | Keelemudelitele ja agentidele |
| Vastab küsimusele | Mida tohib läbida | Millised URL-id on olemas | Millest võtmelehed räägivad |
| Vorming | Direktiivid | XML | Markdown |
| Sisaldab kirjeldusi | Ei | Ei | Jah |
| Reguleerib ligipääsu | Jah | Ei | Ei |
| Ulatus | Domeen | Domeen | Domeen või tee |
Miks võiks väljaandja seda soovida
- Kontroll. Sina valid, milliseid lehti ja kirjeldusi näitad, selle asemel et lasta mudelil neid navigatsiooni ja skripte täis HTML-ist tuletada.
- Masinloetavus. Markdowni on ühilduvatel agentidel ja tööriistadel lihtsam töödelda kui renderdatud lehte.
- Konteksti sääst. Napp kaart mahub kontekstiaknasse, kuhu kogu veebileht kunagi ei mahuks.
- Madal kulu. Midagi pole sinu virnas hooldada ja mõju jõudlusele puudub.
Vormingut avaldavad muu hulgas OpenAI, Anthropicu ja Gemini dokumentatsioonimeeskonnad ning seda loovad automaatselt platvormid nagu Mintlify, GitBook ja Wix ning pistikprogrammid Yoast SEO ja AIOSEO.
Mida llms.txt ei tee
- See ei blokeeri roomajaid. Ligipääsu reguleerimine kuulub robots.txt faili.
- See ei asenda robots.txt ega sitemap.xml faili.
- See ei taga viiteid ChatGPT-s, Perplexitys, Geminis ega Claude'is.
- See ei ole Google'i kinnitatud edetabelitegur.
- See ei ole kohustuslik ja kasutus erineb tehisintellektisüsteemide vahel.
- See ei korva õhukest sisu ega veebilehte, kuhu roomajad ligi ei pääse.
Kes lubab pelgalt faili tõttu rohkem viiteid, lubab midagi, mida täna keegi tõestada ei suuda. Väärtus on kontrollis ja loetavuses.
Kontroll ja Chrome Lighthouse'i test
Chrome Lighthouse 13.3 lisas eksperimentaalse kategooria Agentic Browsing. Üks selle audititest kontrollib avaldatud llms.txt põhiomadusi: H1 pealkiri, vähemalt üks päris Markdown-link kujul [Pealkiri](URL) ja pikkus üle 50 tähemärgi.
Generaator jäljendab selle auditi kontrolle. Tegu on struktuuri kontrolliga, mitte edetabelisignaaliga Google'i otsingus. Auditi enda jaoks loetakse puuduv fail mittekohalduvaks, samas kui avaldatud fail, mis seda läbi ei tee, võidakse teatada veana.
Seetõttu käib kontroll enne allalaadimist: llmstxt.org struktuur, kolm Lighthouse'i kriteeriumi, korduvad URL-id, lingid võõrastele domeenidele ja faili suurus. Eraldi LLMs.txt kontrollija ja validaator kontrollib juba avaldatud faili, sealhulgas seda, kas selle lingid veel töötavad.
Kuidas fail avaldada
Serveeri seda tavalise tekstina aadressil sinudomeen.ee/llms.txt, robots.txt kõrval. Kui kirjeldad ainult osa veebilehest, pane see hoopis sellele teele, näiteks sinudomeen.ee/docs/llms.txt. Pärast üleslaadimist ava aadress ja veendu, et näed markdowni, mitte 404 lehte.
| Platvorm | Asukoht |
|---|---|
| cPanel või jagatud majutus | /public_html/llms.txt |
| WordPress | Veebilehe juurkaust, mitte /wp-content/ |
| Next.js, Nuxt, Astro, React | /public/llms.txt |
| Laravel, Symfony | /public/llms.txt |
| Shopify | Sisu → Failid, seejärel suuna /llms.txt üleslaaditud failile |
| Webflow | Veebilehe seaded, oma kood või faili üleslaadimine |
| Netlify, Vercel, GitHub Pages | Lisa see hoidla public kausta |
Mis faili kuulub
llms.txt on valik, mitte arhiiv. Täieliku URL-ide loendi jaoks on sul saidikaart.
- SaaS ja dokumentatsioon: toote ülevaade, hinnad, alustamine, API viide, changelog.
- E-kaubandus: kategooriad, lipulaevtooted, tarne, tagastused, suurustabelid. Ilma variantide, filtrite ja leheküljenduseta.
- Kohalikud teenused: iga teenus eraldi, teeninduspiirkond, hinnad või pakkumine, meist ja kontakt.
- Väljaandjad: teemakeskused ja ajatud tekstid viimase viiekümne postituse asemel.
Korduma kippuvad küsimused
-
Markdown-fail sinu veebilehe nime, lühikese kokkuvõtte ja võtmelehtede loendiga koos kirjeldustega. See annab keelemudelitele ja agentidele napi kaardi sisust, selle asemel et lasta neil seda HTML-ist tuletada.
-
Ei. See on kogukonna veetav ettepanek, mida kirjeldab llmstxt.org, praegu versioonis v2, ning seda pole kinnitanud ei W3C ega IETF. Spetsifikatsioonile vastavus tähendab siin seal kirjeldatud struktuuri.
-
Ei. Ükski süsteem seda ei nõua. Avaldad selle vabatahtlikult, et juhtida, mida ühilduvatele tehisintellektitööriistadele näitad ja kuidas seda kirjeldatakse.
-
Selle kohta puuduvad tõendid ja see tööriist seda ei luba. Fail muudab sisu loetavamaks ja annab sulle kontrolli kirjelduste üle, kuid see pole kinnitatud edetabelitegur ega viidete tagatis.
-
Google ütleb, et fail pole tema otsingu tehisintellektifunktsioonide jaoks vajalik. Eraldi võib Chrome Lighthouse eksperimentaalsetes auditites kontrollida avaldatud faili põhiomadusi. See on struktuuri kontroll, mitte edetabelisignaal.
-
Serveeri seda tavalise tekstina domeeni juurkaustas, robots.txt kõrval. v2 lubab ka faile ükskõik millisel teel:
/docs/llms.txtkatab sisu/docs/all ja agendid peaksid kasutama kõige täpsemat faili. -
llms.txt on valitud register linkidest koos kirjeldustega. llms-full.txt sisaldab lehtede täielikku sisu markdownis. Esimene on kaart, teine maastik, ja ainult esimene kuulub spetsifikatsiooni.
-
Saidikaart loetleb kõik URL-id otsimootoritele, ilma kirjelduste ja tähtsusjärjestuseta. robots.txt reguleerib roomajate ligipääsu. llms.txt on lühike valitud kaart kontekstiga, mõõdetud mudeli kontekstiaknale.
-
Jah. Ilma saidikaardita leitakse lehed avalehe sisemiste linkide kaudu, eelistades dokumentatsiooni, tooteid ja teenuseid.
-
Jah. Päevase piiri sees saad kogu faili, ilma vesimärgi ja lõigatud eelvaateta. Tasulised paketid tõstavad lehtede piiri ja lisavad llms-full.txt.
Loo oma llms.txt
Sisesta oma domeen ja saad struktureeritud, kontrollitud ja muudetava llms.txt faili, mis on avaldamiseks valmis. Ilma URL-ide käsitsi kogumiseta. Kas sul on juba fail? Kontrolli seda: LLMs.txt kontrollija ja validaator.