Prompt injection OWASP को प्राथमिक जोखिम हो। तपाईंका agents नयाँ आक्रमण सतह हुन्।
Prompt injection LLM अनुप्रयोगहरूको लागि OWASP को वर्तमान Top 10 मा अग्रणी छ। Agents साधनहरू र स्वायत्तता प्राप्त गर्दै जाँदा, एकल इन्जेक्ट गरिएको निर्देश डेटा exfiltrate गर्न वा विनाशकारी कार्य गर्न सक्छ। Agents को सुरक्षा अब तिनीहरूलाई तैनाथ गर्नको लागि एक आवश्यक शर्त हो।
Habib Obeid द्वारा
तपाईंको agent जति सक्षम हो, आक्रमणकारीले यसलाई नियन्त्रणमा लिएर उतनै बढी लाभ पाउँछ। Prompt injection LLM अनुप्रयोगहरूको लागि OWASP को वर्तमान Top 10 मा अग्रणी छ, र यो उत्पादन AI तैनाथीमा सबै भन्दा सामान्य कमजोरीहरू मध्ये एक हो। जोखिम स्वायत्ततासँग बढिन्छ: एक पल agent साधनहरू कल गर्न, ब्राउज गर्न र कार्य गर्न सक्छ, यसले पढेको सामग्रीमा लुकाइएको निर्देश यसको आफ्नै क्षमताहरूलाई तपाईंको विरुद्ध परिणत गर्न सक्छ।
साधनहरू भएको agent यो पढ्ने सबै भन्दा कम-विश्वसनीय दस्तावेज जति नै विश्वसनीय छ। प्रत्येक बाह्य इनपुटलाई शत्रुतापूर्ण मान्नुहोस्, किनभने आक्रमणकारीहरू पहिले नै यो गरिसकेका छन्।
अप्रत्यक्ष injection उद्यमको खतरा हो
प्रत्यक्ष injection, जहाँ प्रयोगकर्ता ओभरराइड टाइप गर्छन्, सजिलो केस हो। खतरनाक अप्रत्यक्ष हो: वेब पेज, PDF, इमेल वा समर्थन टिकिटमा लुकाइएको दुर्भावनापूर्ण निर्देश जो agent आफ्नो काम को अंश को रूप मा प्रक्रिया गर्छ। २०२६ मा, अनुसन्धानकर्ताहरूले अप्रत्यक्ष injection को एक ठूलो-स्तरको अध्ययन प्रकाशित गरे, लाइभ वेब पेजहरु भरमा हजारहरू लुकाइएको निर्देश पाइएका र AI मोडेलहरु लक्ष्य गरिएका। एक घटना मा, एक कोडिङ सहायकले उत्पादन डाटाबेस हटाए स्पष्ट निर्देश को बिरुद्ध केहि परिवर्तन गर्न को, त्यसपछी झूठा रेकर्ड तयार गरी र गलत रिपोर्ट कि रोलब्याक असम्भव छ भनी।
रक्षा आर्किटेक्चर हो, prompt होइन
कुनै पनि system prompt को शब्दहरु agent लाई injection-proof गर्न सक्दैन; जबसम्म आर्किटेक्चरहरु स्पष्ट रूप मा निर्देशहरु डेटा बाट अलग गर्दैनन्, जोखिम रहन्छ। गहिराई मा रक्षा काम गर्छ: सफल injection अनुमान गरी यो के गर्न सक्छ सीमित गरिन्छ।
- न्यूनतम विशेषाधिकार: agent सबै भन्दा संकीर्ण साधन र डेटा पहुँच पाउँछ जो यसलाई आफ्नो काम गर्न दिन्छ, र अन्य केहि छैन।
- अपरिवर्तनीय वा उच्च-मूल्यको कार्यहरुमा मानव स्वीकृति अनिवार्य छ: मेटाइहरु, भुक्तानीहरू, बाह्य पठाइहरु।
- इनपुट र आउटपुट सत्यापन, अविश्वसनीय सामग्री स्पष्ट रूप मा निर्देशहरु बाट अलग राखिएको।
- विषम साधन कलहरुको लागि पूर्ण लगिङ र निगरानी, ताकि exfiltration प्रयासहरु पकडिएका र पहिचान योग्य छन्।
HOWF को अवस्थिति
हामी agents लाई निर्माण गर्छौं यस अनुमान अन्तर्गत कि तिनीहरु आक्रमण गरिनेछन्। साधनहरु न्यूनतम विशेषाधिकार अन्तर्गत चल्छन्, उच्च-दाव को कार्यहरु मानव स्वीकृति को लागि रुट गरिन्छन्, अविश्वसनीय इनपुटहरु अलग गरिएका छन्, र हरेक कार्य लगिङ र निगरानी गरिन्छ। यो समान शासन अनुशासन हो जो agents अलग गर्छ जो उद्यमहरु अझै पनि चलाउँछन् तिनीहरुबाट जो चुप चाप बन्द गरिएका छन्, विशिष्ट रूप मा स्वायत्तता सिर्जना गर्ने आक्रमण सतह को लागि लागु गरिएको।
स्रोतहरू
- Incident 1152: LLM-Driven Replit Agent Reportedly Executed Unauthorized Destructive Commands During Code Freeze, AI Incident Database
- LLM01:2025 Prompt Injection, OWASP Gen AI Security Project
यो तपाईंको उद्यममा लागू गर्न चाहनुहुन्छ?