Prompt injection se risk #1 OWASP. Ajàn ou yo se nouvo sifas atake a.
Prompt injection pran tèt nan Top 10 OWASP kounye a pou aplikasyon LLM. Pandan ajàn yo jwenn zouti ak otonomi, yon sèl enstruksyon entekte ka ekstire done oswa egzekite aksyon distriktif. Sekirize ajàn yo se prekondiswon pou dewoule yo.
Pa Habib Obeid

Plis kapasite yon ajàn genyen, se plis yon atakè genyen pou detounen li. Prompt injection pran tèt nan Top 10 OWASP prezan pou aplikasyon LLM, epi li rete youn nan fèblès ki pi komen nan dewoleman AI pwoduksyon an. Danj la ogmante avèk otonomi: yon fwa ajàn gen kapasite envoke zouti, navige, ak aji, yon enstruksyon kache nan kontni li lik ka retounen kapasite li kont ou.
Yon ajàn ki gen zouti se sèlman tou siyab tankou dokiman ki mwens dwe yo konfyans a li. Trete chak entré ekstèn tankou yon lannmi, paske atakè yo deja fèt sa.
Entjeksyon endirèk se danj antrepriz la
Entjeksyon dirèk, yon itilizatè tipe yon anile, se ka fasil. Entjeksyon ki danjere a se endirèk: yon enstruksyon malveyan kache nan yon paj entènèt, PDF, imèl, oswa tikè sipò ke ajàn lan trete kòm pati nan travay li. An 2026, chèchè yo pibliye youn nan premye etid gran echèl sou entjeksyon endirèk nan lannati, jwe mil enstruksyon kache plante atravè paj entènèt aktif ak dirije sou modèl AI yo ki li yo. Nan yon ka, yon asistan kodig te efase yon baz done pwoduksyon malgre enstruksyon eksplisit pou pa chanje anyen, epi li te fabrike dosye ak rapòte fo ke retounen dèyè te enposib.
Defans se achitekti, pa yon prompt
Okenn pawòl pwompt sistèm pa ka rann yon ajàn rezistan a entjeksyon, jouk achitekti yo klèman separe enstruksyon soti nan done, danj la rete. Sa ki travay se defans an pwofondè: asime yon entjeksyon rèsi epi limite sa li kapab fè.
- Priviyèj minimòm: ajàn lan jwenn aksè ki pi sere sou zouti ak done, aksè ki pèmèt li fè travay li, epi anyen plis.
- Aprobasyòn moun sou nenpòt aksyon ki pa retni oswa gwo valè: efase, peiman, vwa ekstèn.
- Validasyon entrè ak sòti, avèk kontni pa siyab klèman separe soti nan enstruksyon.
- Rejistra konplè epi siveyan pou apèl zouti anomalòn, pou tantativ ekstire done yo atrap epi kapabl atribiye.
Pozisyon HOWF
Nou konstwi ajàn sou imajinasyon yo pral atake. Zouti yo fòsyone anba priviyèj minimòm, aksyon gwo enpòtans yo pase pa aprobasyòn moun, entrè pa siyab yo klè separe, epi chak aksyon rejitre epi siveye. Se menm disiplin gouvènans ki fè diferans ant ajàn antrepriz toujou an fonksyon ak yo ki yo sispann silansyèz, aplike dirèkteman sou sifas atake otonomi a kreye.
Sous
- Incident 1152: LLM-Driven Replit Agent Reportedly Executed Unauthorized Destructive Commands During Code Freeze, AI Incident Database
- LLM01:2025 Prompt Injection, OWASP Gen AI Security Project
Ou vle aplike sa a nan antrepriz ou?