llms.txt، robots.txt اور صفحات کو مارک ڈاؤن میں پیش کرنا

جن لوگوں تک کسی چھوٹے کاروبار کا ذکر پہنچے گا، ان میں سے بڑھتی ہوئی تعداد اس کی ویب سائٹ کبھی نہیں کھولے گی۔ وہ کسی ماڈل سے پوچھیں گے، اور ماڈل اسی سے جواب دے گا جو وہ پڑھ سکا۔

اس سے "کیا کوئی ایجنٹ یہ سائٹ پڑھ سکتا ہے؟" تکنیکی دلچسپی کے بجائے ترسیل کا سوال بن جاتا ہے۔ اس کے نتیجے میں تین چیزیں سامنے آتی ہیں، اور یہاں بننے والی ہر سائٹ کو یہ تینوں بغیر مانگے مل جاتی ہیں۔

robots.txt میں AI کرالرز کے نام ہونے چاہییں

ان کا ذکر نہ کریں تو وہ User-agent: * پر آ جاتے ہیں۔ یہ پالیسی نہیں، ایک ڈیفالٹ ہے جو آپ کو وراثت میں ملا۔

اس لیے ہم ان کے نام لکھتے ہیں۔ وہ سرچ اور جواب دینے والے ایجنٹس جو حوالے واپس بھیجتے ہیں - OAI-SearchBot، ChatGPT-User، Claude-SearchBot، Claude-User، PerplexityBot - اور ٹریننگ کرالرز GPTBot، ClaudeBot، Google-Extended، meta-externalagent۔ ہر ایک کو بالکل وہی Disallow فہرست ملتی ہے جو باقی سب کو: کسی بوٹ کو API نہیں ملتی، اور کسی بوٹ کو صرف ممبرز کا صفحہ نہیں ملتا۔

ان کا نام لینا نرمی برتنے کے لیے نہیں ہے۔ مقصد یہ ہے کہ پالیسی کہیں لکھی ہوئی ہو تاکہ اسے سوچ سمجھ کر بدلا جا سکے۔

llms.txt فہرستِ مضامین ہے، اشتہار نہیں

llms.txt کا طریقہ سادہ ہے: ایک عنوان، بلاک کوٹ میں ایک پیراگراف کا خلاصہ، پھر لنک شدہ سیکشنز۔ اس پر پہنچنے والا ماڈل ایک ہی فیچ میں، کچھ رینڈر کیے بغیر، جان لے کہ یہ سائٹ کیا ہے اور اہم صفحات کہاں ہیں۔

ہماری فائل سائٹ کے ڈیفینیشن سے بنتی ہے، جو سننے سے زیادہ اہم ہے۔ فہرست اسی عوامی/نجی اصول سے چھنتی ہے جس سے سائٹ میپ:

# Piekarnia Lune

> A sourdough bakery in Kraków. Bread baked daily, cakes to order,
> open from seven.

## Pages

- [Menu](https://...): What we bake, and what it costs.
- [Order a cake](https://...): Wedding and birthday cakes, two weeks' notice.

ایک فہرست، تین بار پڑھی جاتی ہے - سائٹ میپ سے، llms.txt سے اور robots میٹا ٹیگ سے۔ تینوں کے آپس میں ٹکرانے کا کوئی امکان نہیں، کیونکہ ہم آہنگ رکھنے کے لیے کچھ ہے ہی نہیں۔

ہر صفحہ، مارک ڈاؤن میں

غلط سمجھے جانے کا تیز ترین طریقہ یہ ہے کہ پڑھنے والے کو تین جملے ڈھونڈنے کے لیے پورا لے آؤٹ پارس کرنا پڑے۔ اس لیے ہر بنائی گئی سائٹ کا ہر صفحہ HTML کے ساتھ مارک ڈاؤن کا بھی جواب دیتا ہے:

• Accept: text/markdown بھیجیں اور اسی URL پر صفحہ مارک ڈاؤن میں مل جاتا ہے۔
• یا راستے کے آخر میں .md لگائیں، ان بہت سے ایجنٹس کے لیے جو نیگوسی ایشن نہیں کرتے۔

جو اصول اسے دیانت دار رکھتے ہیں ان کا ذکر ضروری ہے۔ یہ ری رائٹ ہے، ری ڈائریکٹ نہیں۔ یہ صرف واضح text/markdown درخواست پر ہوتا ہے، */* پر کبھی نہیں - "کچھ بھی" بھیجنے والا براؤزر صفحہ چاہتا ہے۔ دونوں جوابات Vary: Accept کے ساتھ آتے ہیں، تاکہ شیئرڈ کیش ایک ہی مواد سب کو نہ دے سکے۔ اور مارک ڈاؤن ورژن noindex ہوتا ہے، تاکہ وہ سرچ میں اس صفحے سے مقابلہ نہ کرے جس کی وہ نقل ہے۔

سیریلائزر رینڈر شدہ HTML کے بجائے سائٹ کے ڈیفینیشن پر چلتا ہے، اسی لیے نتیجہ صاف نکلتا ہے: فیچرز سیکشن فہرست بن جاتا ہے، عمومی سوالات عنوانات اور جوابات بن جاتے ہیں، قیمتوں کا ٹیبل ٹیبل بن جاتا ہے۔ نقشہ یا بکنگ کیلنڈر ایک ایمان دار سطر بن جاتا ہے جو بتاتی ہے کہ وہاں کیا ہے، بجائے اس کے کہ وہ گھڑ لے جو وہ دکھاتا۔

یہ ہم پر بھی لاگو ہوتا ہے

یہ پوسٹ اسی URL پر آخر میں .md لگا کر دستیاب ہے۔ crea.site کا ہر دوسرا صفحہ بھی، اور ہماری اپنی llms.txt ان سب کو فہرست کرتی ہے۔

ایسا ویب سائٹ بلڈر جس کے اپنے صفحات کوئی ایجنٹ نہ پڑھ سکے، اپنے ہی خلاف دلیل دے رہا ہوتا ہے۔