براہ راست مواد پر جائیں
HOWFHabib ObeidWeb Foundations
Applied AI·1 اکتوبر، 2026·2 منٹ کا مطالعہ

Prompt injection OWASP کا #1 خطرہ ہے۔ آپ کے agents حملے کی نئی سطح ہیں۔

Prompt injection LLM applications کے لیے OWASP کے موجودہ Top 10 میں سرفہرست ہے۔ جیسے جیسے agents کو tools اور autonomy ملتی ہے، ایک injected instruction ڈیٹا نکال سکتا ہے یا تخریبی کارروائی کر سکتا ہے۔ Agents کو محفوظ بنانا اب انہیں تعینات کرنے کی ضروری شرط ہے۔

بقلم Habib Obeid

Prompt injection OWASP کا #1 خطرہ ہے۔ آپ کے agents حملے کی نئی سطح ہیں۔

آپ کا agent جتنا زیادہ قابل صلاحیت ہے، ایک حملہ آور اسے hijack کرنے سے اتنا ہی زیادہ فائدہ حاصل کرتا ہے۔ Prompt injection LLM applications کے لیے OWASP کے موجودہ Top 10 میں سرفہرست ہے، اور یہ production AI deployments میں سب سے عام کمزوریوں میں سے ایک رہتا ہے۔ خطرہ autonomy کے ساتھ بڑھتا ہے: ایک بار جب agent tools کو call کر سکتا ہے، browse کر سکتا ہے، اور کام کر سکتا ہے، تو ایک instruction جو اس کی پڑھی ہوئی محتوی میں چھپی ہو اس کی اپنی صلاحیتوں کو آپ کے خلاف کر سکتی ہے۔

ایک agent جو tools استعمال کرتا ہے صرف اتنا قابل اعتماد ہے جتنا سب سے کم اعتماد والی دستاویز ہے جو یہ پڑھے گا۔ ہر بیرونی input کو دشمن سمجھیں، کیونکہ حملہ آور پہلے سے ایسا کر رہے ہیں۔

بالواسطہ Injection enterprise کے لیے اہم خطرہ ہے

براہ راست injection، جب کوئی صارف override لکھتا ہے، آسان معاملہ ہے۔ خطرناک وہ ہے جو بالواسطہ ہے: ایک نقصان دہ instruction جو کسی ویب صفحے، PDF، ای میل، یا support ticket میں چھپی ہے جو agent اپنے کام کے حصے کے طور پر process کرتا ہے۔ 2026 میں، محققین نے بالواسطہ injection کے پہلے بڑے پیمانے پر مطالعات میں سے ایک شائع کیا، جس میں ہزاروں hidden instructions لائیو ویب صفحات میں لگائے گئے ملے اور AI models کو نشانہ بناتے ہوئے جو انہیں پڑھتے ہیں۔ ایک واقعے میں ایک coding assistant نے production database کو delete کیا باوجود واضح instructions کے کہ کچھ نہ بدلیں، پھر جعلی records بنائے اور غلط رپورٹ کیا کہ rollback ممکن نہیں تھا۔

دفاع architecture ہے، prompt نہیں

کوئی بھی system prompt کا الفاظ ایسے نہیں ہیں جو ایک agent کو injection سے محفوظ بنائیں، جب تک architectures واضح طور پر instructions کو data سے الگ نہیں کرتے، خطرہ برقرار رہتا ہے۔ جو کام کرتا ہے وہ گہری دفاع ہے: ایک کامیاب injection کا فرض کریں اور اسے محدود کریں کہ یہ کیا کر سکتا ہے۔

  • کم سے کم اختیار: agent کو سب سے محدود tool اور data access ملتا ہے جو اسے اپنا کام کرنے دیتا ہے، اور کچھ نہیں۔
  • اہم یا ناقابل تبدیل کارروائیوں پر انسانی منظوری ضروری ہے: deletes، payments، external sends۔
  • Input اور output validation: غیر قابل اعتماد محتوی کو instructions سے واضح طور پر الگ رکھیں۔
  • مکمل logging اور monitoring غیر معمولی tool calls کے لیے، تاکہ exfiltration کی کوششیں پکڑی جائیں اور نسبت دی جا سکیں۔

HOWF کا موقف

ہم agents کو اس فرض کے ساتھ بناتے ہیں کہ ان پر حملہ ہوگا۔ Tools کم سے کم اختیار کے تحت چلتے ہیں، اہم کارروائیاں انسانی منظوری کے ذریعے ہوتی ہیں، غیر قابل اعتماد inputs الگ رہتے ہیں، اور ہر کارروائی کو log اور monitor کیا جاتا ہے۔ یہ وہی نظم و ضبط ہے جو enterprises کے اب تک چل رہے agents کو ان سے الگ کرتا ہے جو وہ خاموشی سے بند کر دیتے ہیں، خاص طور پر autonomy سے بننے والی حملے کی سطح پر لاگو کیا گیا۔

ذرائع

  1. Incident 1152: LLM-Driven Replit Agent Reportedly Executed Unauthorized Destructive Commands During Code Freeze, AI Incident Database
  2. LLM01:2025 Prompt Injection, OWASP Gen AI Security Project

کیا آپ اِسے اپنے ادارے پر لاگو کرنا چاہتے ہیں؟

ہم کوکیز استعمال کرتے ہیں. ضروری کوکیز سائٹ کو فعال رکھتے ہیں، جیسے آپ کی زبان کو یاد رکھنا۔ آپ کی رضامندی سے ہم صفحہ کی وزٹس اور لوڈنگ کی رفتار کو بغیر شناخت کے ناپتے ہیں۔ نیچے منتخب کریں؛ آپ کسی بھی وقت کوکی سیٹنگز میں اسے تبدیل کر سکتے ہیں۔