مولد LLMs.txt
دامنه خود را وارد کنید. مولد LLMs.txt سایت را پیمایش میکند، صفحههایی را که ارزش نمایش به سامانههای هوش مصنوعی دارند برمیگزیند، آنها را در بخشها دستهبندی میکند و برای هر کدام توضیحی مینویسد. فایل llms.txt معتبری دریافت میکنید که پیش از انتشار قابل ویرایش است.
تفاوت در مرحله میانی این روند است. مولد نقشه سایت شما را در یک فایل متنی خالی نمیکند: نشانیها فیلتر میشوند، صفحههای مهم مقدم میشوند و توضیحها از محتوای واقعی صفحه برمیآیند، نه از برچسب متا.
چطور کار میکند
- سایت خود را وارد کنید. یا نقشه سایت را نشان دهید، یا فهرست نشانیهای خودتان را بچسبانید.
- مولد LLMs.txt پیمایش و تحلیل میکند. robots.txt، نقشههای سایت شما و محتوای هر صفحه.
- فایل را میسازد و بررسی میکند. بخشها، توضیحها و بررسی انطباق.
- شما بازبینی، ویرایش و منتشر میکنید. تا تأیید شما، چیزی بیرون نمیرود.
فراتر از مبدل نقشه سایت به llms.txt
یک مولد ساده تنها یک بار عبور میکند: نقشه سایت وارد میشود و نشانیهایی با توضیح متا بیرون میآید. به همین دلیل صفحه ورود، سبد خرید و صد نوشته خالی وبلاگ سر از فایل منتشرشده درمیآورند.
| قابلیت | DiagnoSEO | مولدهای دیگر |
|---|---|---|
| محتوای واقعی صفحهها را میخواند | ✅ | متفاوت است |
| نشانیهای کمارزش را کنار میگذارد | ✅ | متفاوت است |
| صفحههای مهم را مقدم میکند | ✅ | متفاوت است |
| بخشهای منطقی میسازد | ✅ | متفاوت است |
| توضیحها را از محتوای صفحه مینویسد | ✅ | متفاوت است |
| به زبان سایت مینویسد | ✅ | متفاوت است |
| بررسی درونساخت | ✅ | متفاوت است |
| ویرایش پیش از دانلود | ✅ | متفاوت است |
| نشانیهای کنارگذاشته و دلیل را نشان میدهد | ✅ | متفاوت است |
| با llms.txt موجود شما مقایسه میکند | ✅ | متفاوت است |
| llms-full.txt میسازد | ✅ | متفاوت است |
مولد LLMs.txt دقیقاً چه میکند
- نخست نقشه سایت. robots.txt را میخواند و از پس فهرست نقشههای سایت و نقشههای فشرده با gzip برمیآید.
- پیمایش پشتیبان. نقشه سایت ندارید؟ صفحهها را از پیوندهای داخلی صفحه اصلی پیدا میکنیم.
- دریافت موازی سرعت پیمایشهای بزرگتر را حفظ میکند.
- گزینش هوشمند نشانیها. مستندات، محصولات، خدمات، قیمتها، درباره ما و تماس در اولویتاند.
- حذف نویز. فایلها، ورود، سبد خرید، صفحهبندی، بایگانی برچسب و تاریخ، پارامترهای فیلتر.
- استثناهای دلخواه. بخشهایی از نشانی را برای نادیده گرفتن بیفزایید، مثلاً
/tag/یا?filter=. - توازن بخشها نمیگذارد وبلاگ پرحجم مستندات شما را کنار بزند.
- پاکسازی عنوانها. «قیمتها | برند» به «قیمتها» تبدیل میشود.
- بخشهای H2 بههمراه بخش
Optionalبرای محتوای درجه دوم. - خلاصه و توضیح هر صفحه از محتوای واقعی، به زبان سایت شما.
- بازگشت به توضیح متا وقتی مدل در دسترس نیست، تا همیشه فایلی قابل استفاده بگیرید.
- بررسی پیش از دانلود، شامل معیارهای Chrome Lighthouse.
- مقایسه با فایل llms.txt که هماکنون روی دامنه شما منتشر شده است.
- منابع شفاف. هر نشانی واردشده در فهرست میآید و میتوان تیکش را برداشت؛ کنار هر نشانی کنارگذاشته دلیلش نوشته شده است.
- llms-full.txt با محتوای کامل صفحهها، از همان پیمایش.
llms.txt چیست
llms.txt یک فایل Markdown است که در پیشنهاد llmstxt.org تعریف شده؛ جرمی هاوارد (Answer.AI) آن را در شهریور ۱۴۰۳ منتشر کرد و در مرداد ۱۴۰۵ به نسخه v2 بهروز شد. این پیشنهادی است که جامعه پیش میبرد، نه استاندارد W3C یا IETF.
ساختار کوتاه است: یک H1 با نام سایت (تنها عنصر الزامی)، خلاصهای در قالب نقلقول، بندی اختیاری برای زمینه، و سپس بخشهای H2 با پیوندهای Markdown که دونقطه در آنها یادداشتی کوتاه را آغاز میکند. بخشی با نام Optional محتوایی را نشان میدهد که عامل میتواند هنگام تنگی زمینه از آن بگذرد.
فایل میتواند در ریشه دامنه یا در هر مسیری درون آن قرار بگیرد. نسخه v2 فایلهای با دامنه محدود را میپذیرد: /docs/llms.txt همه چیز زیر /docs/ را پوشش میدهد و عاملها باید دقیقترین فایل مرتبط را به کار ببرند.
llms-full.txt چیست
llms-full.txt رسمی است که سکوهای مستندسازی رواج دادند و بخشی از مشخصات نیست. بهجای پیوند همراه توضیح، محتوای کامل صفحهها را به Markdown میبرد و در یک سند گرد میآورد.
جایی ارزش دارد که کاربران از دستیارهای هوش مصنوعی پرسشهای ریز میپرسند: مستندات، محصولات SaaS، پایگاههای دانش. هر دو فایل از یک پیمایش میآیند و بنابراین همخوان میمانند.
llms.txt، sitemap.xml و robots.txt
سه فایل، سه وظیفه. جای یکدیگر را نمیگیرند و سایتی که خوب نگهداری شود هر سه را ارائه میدهد.
| robots.txt | sitemap.xml | llms.txt | |
|---|---|---|---|
| برای چه کسی | خزندهها | موتورهای جستجو | مدلهای زبانی و عاملها |
| پاسخ میدهد به | چه چیزی را میتوان پیمایش کرد | چه نشانیهایی وجود دارد | صفحههای کلیدی درباره چیست |
| قالب | دستورها | XML | Markdown |
| دارای توضیح | خیر | خیر | بله |
| کنترل دسترسی | بله | خیر | خیر |
| دامنه شمول | دامنه | دامنه | دامنه یا مسیر |
چرا یک ناشر ممکن است بخواهد
- کنترل. خودتان تعیین میکنید کدام صفحهها و با چه توضیحی نمایش داده شوند، بهجای آنکه مدل از HTML پر از ناوبری و اسکریپت حدس بزند.
- خوانایی ماشینی. Markdown برای عاملها و ابزارهای سازگار آسانتر از یک صفحه رندرشده است.
- صرفهجویی در زمینه. نقشهای فشرده در پنجره زمینهای جا میشود که کل سایت شما هرگز در آن نمیگنجد.
- هزینه اندک. چیزی برای نگهداری در پشته فنی شما اضافه نمیشود و بر کارایی اثری ندارد.
این قالب را تیمهای مستندسازی OpenAI، Anthropic و Gemini منتشر میکنند و سکوهایی مانند Mintlify، GitBook و Wix و نیز افزونههای Yoast SEO و AIOSEO آن را خودکار میسازند.
llms.txt چه نمیکند
- خزندهها را مسدود نمیکند. کنترل دسترسی کار robots.txt است.
- جایگزین robots.txt یا sitemap.xml نمیشود.
- ارجاع در ChatGPT، Perplexity، Gemini یا Claude را تضمین نمیکند.
- عامل رتبهبندی تأییدشدهای در گوگل نیست.
- الزامی نیست و میزان بهکارگیری آن میان سامانههای هوش مصنوعی فرق دارد.
- محتوای کممایه یا سایتی را که خزندهها به آن نمیرسند جبران نمیکند.
هر کس تنها به اتکای این فایل وعده ارجاع بیشتر بدهد، چیزی را وعده میدهد که امروز هیچکس نمیتواند نشان دهد. ارزش در کنترل و خوانایی است.
بررسی و آزمون Chrome Lighthouse
Chrome Lighthouse 13.3 دسته آزمایشی Agentic Browsing را افزود. یکی از ممیزیهای آن ویژگیهای پایه یک llms.txt منتشرشده را میسنجد: عنوان H1، دستکم یک پیوند Markdown واقعی به شکل [عنوان](URL) و طول بیش از ۵۰ نویسه.
مولد بررسیهای همان ممیزی را بازسازی میکند. این بررسی ساختار است، نه نشانه رتبهبندی در جستجوی گوگل. برای خود ممیزی، نبود فایل «غیرقابلاعمال» شمرده میشود، در حالی که فایل منتشرشدهای که آن را نگذراند ممکن است بهعنوان خطا گزارش شود.
به همین دلیل بررسی پیش از دانلود اجرا میشود: ساختار llmstxt.org، سه معیار Lighthouse، نشانیهای تکراری، پیوند به دامنههای بیگانه و اندازه فایل. بررسی و اعتبارسنجی LLMs.txt جداگانه فایلی را که پیشتر منتشر شده میسنجد، از جمله اینکه پیوندهایش هنوز کار میکنند یا نه.
چطور فایل را منتشر کنید
آن را بهصورت متن ساده در نشانی دامنه-شما/llms.txt و کنار robots.txt ارائه کنید. اگر تنها بخشی از سایت را توصیف میکنید، فایل را در همان مسیر بگذارید، مثلاً دامنه-شما/docs/llms.txt. پس از بارگذاری نشانی را باز کنید و مطمئن شوید Markdown میبینید نه صفحه ۴۰۴.
| سکو | محل قرارگیری |
|---|---|
| cPanel یا میزبانی اشتراکی | /public_html/llms.txt |
| WordPress | ریشه سایت، نه /wp-content/ |
| Next.js, Nuxt, Astro, React | /public/llms.txt |
| Laravel, Symfony | /public/llms.txt |
| Shopify | محتوا → فایلها، سپس هدایت /llms.txt به فایل بارگذاریشده |
| Webflow | تنظیمات سایت، کد سفارشی یا بارگذاری فایل |
| Netlify, Vercel, GitHub Pages | آن را در پوشه public مخزن بگذارید |
چه چیزی در فایل جای دارد
llms.txt گزیده است، نه بایگانی. برای فهرست کامل نشانیها نقشه سایت را دارید.
- SaaS و مستندات: معرفی محصول، قیمتها، شروع به کار، مرجع API، تاریخچه تغییرات.
- تجارت الکترونیک: دستهبندیها، محصولات شاخص، ارسال، مرجوعی، جدول اندازهها. بدون گونهها، فیلترها و صفحهبندی.
- خدمات محلی: هر خدمت جداگانه، محدوده خدمات، قیمت یا استعلام، درباره ما و تماس.
- ناشران: صفحههای محوری موضوعی و مطالب ماندگار بهجای پنجاه نوشته آخر.
پرسشهای پرتکرار
-
فایلی Markdown با نام سایت شما، خلاصهای کوتاه و فهرستی از صفحههای کلیدی همراه توضیح. به مدلهای زبانی و عاملها نقشهای فشرده از محتوای شما میدهد، بهجای آنکه وادارشان کند از HTML استنباط کنند.
-
خیر. پیشنهادی است که جامعه پیش میبرد و در llmstxt.org توصیف شده، اکنون در نسخه v2، و نه W3C و نه IETF آن را تصویب نکردهاند. انطباق با مشخصات در اینجا یعنی ساختاری که آنجا آمده.
-
خیر. هیچ سامانهای آن را نمیخواهد. داوطلبانه منتشرش میکنید تا تعیین کنید چه چیزی را به ابزارهای سازگار هوش مصنوعی نشان دهید و چگونه توصیف شود.
-
شواهدی در دست نیست، و این ابزار چنین وعدهای نمیدهد. این فایل محتوا را خواناتر میکند و اختیار توضیحها را به شما میدهد، اما نه عامل رتبهبندی تأییدشده است و نه تضمین ارجاع.
-
گوگل میگوید این فایل برای قابلیتهای هوش مصنوعی در جستجو لازم نیست. جدا از آن، Chrome Lighthouse میتواند در ممیزیهای آزمایشی خود ویژگیهای پایه یک فایل منتشرشده را بسنجد. آن بررسی ساختار است، نه نشانه رتبهبندی.
-
آن را بهصورت متن ساده در ریشه دامنه و کنار robots.txt ارائه کنید. نسخه v2 فایل در هر مسیری را هم میپذیرد:
/docs/llms.txtمحتوای زیر/docs/را پوشش میدهد و عاملها باید دقیقترین فایل را به کار ببرند. -
llms.txt نمایهای گزیده از پیوندها همراه توضیح است. llms-full.txt محتوای کامل صفحهها را به Markdown دارد. اولی نقشه است و دومی سرزمین، و تنها اولی بخشی از مشخصات است.
-
نقشه سایت همه نشانیها را برای موتورهای جستجو فهرست میکند، بدون توضیح و بدون اولویت. robots.txt دسترسی خزندهها را تنظیم میکند. llms.txt نقشهای کوتاه و گزیده همراه زمینه است که به اندازه پنجره زمینه مدل بریده شده.
-
بله. بدون نقشه سایت، صفحهها از پیوندهای داخلی صفحه اصلی پیدا میشوند و مستندات، محصولات و خدمات در اولویتاند.
-
بله. در سقف روزانه فایل کامل را میگیرید، بدون نشان آب و بدون پیشنمایش بریده. طرحهای پولی سقف صفحهها را بالا میبرند و llms-full.txt را میافزایند.
فایل llms.txt خود را بسازید
دامنه را وارد کنید و فایل llms.txt ساختارمند، بررسیشده و قابل ویرایش را آماده انتشار تحویل بگیرید. بدون جمعآوری دستی نشانیها. همین حالا فایلی دارید؟ آن را با بررسی و اعتبارسنجی LLMs.txt بررسی کنید.