از آنجا که مشاغل بیشتری هوش مصنوعی را اتخاذ می کنند ، درک خطرات امنیتی آن از همیشه مهمتر شده است. هوش مصنوعی در حال تغییر شکل صنایع و گردش کار است ، اما چالش های امنیتی جدیدی را نیز معرفی می کند که سازمان ها باید به آنها بپردازند. محافظت از سیستم های هوش مصنوعی برای حفظ اعتماد ، محافظت از حریم خصوصی و اطمینان از عملیات تجاری صاف ضروری است. این مقاله به طور خلاصه بینش های کلیدی از سیسکو اخیر “امنیت AI در سال 2025“گزارش. این یک مرور کلی در مورد جایی که امنیت AI امروز در آن قرار دارد و چه شرکت هایی باید برای آینده در نظر بگیرند ، ارائه می دهد.
یک تهدید رو به رشد امنیتی برای هوش مصنوعی
اگر 2024 هر چیزی را به ما آموخت ، این است که پذیرش هوش مصنوعی سریعتر از آنکه بسیاری از سازمان ها بتوانند آن را تأمین کنند ، حرکت می کند. در گزارش سیسکو آمده است که اکنون حدود 72 ٪ از سازمان ها در کارکردهای تجاری خود از هوش مصنوعی استفاده می کنند ، اما تنها 13 ٪ احساس می کنند کاملاً آماده برای به حداکثر رساندن پتانسیل خود هستند. این شکاف بین فرزندخواندگی و آمادگی تا حد زیادی ناشی از نگرانی های امنیتی است که همچنان مانع اصلی استفاده گسترده تر از شرکت هوش مصنوعی است. آنچه این وضعیت را نگران کننده تر می کند این است که هوش مصنوعی انواع جدیدی از تهدیدها را ارائه می دهد که روشهای سنتی امنیت سایبری کاملاً مجهز به آن نیستند. بر خلاف امنیت سایبری معمولی ، که اغلب از سیستم های ثابت محافظت می کند ، AI تهدیدهای پویا و تطبیقی را به همراه می آورد که پیش بینی آن سخت تر است. این گزارش چندین سازمان تهدیدهای در حال ظهور را برجسته می کند:
- حملات زیرساختی: زیرساخت های هوش مصنوعی به یک هدف اصلی برای مهاجمان تبدیل شده است. یک مثال قابل توجه این است سازش از جعبه ابزار کانتینر Nvidia ، که به مهاجمان اجازه می داد به سیستم های فایل دسترسی پیدا کنند ، کد مخرب را اجرا کنند و امتیازات را تشدید کنند. به همین ترتیب ، ری ، یک چارچوب هوش مصنوعی منبع باز برای مدیریت GPU ، بود سازش شده در یکی از اولین حملات چارچوب AI در دنیای واقعی. این موارد نشان می دهد که چگونه نقاط ضعف در زیرساخت های هوش مصنوعی می تواند بسیاری از کاربران و سیستم ها را تحت تأثیر قرار دهد.
- خطرات زنجیره تأمین: آسیب پذیری های زنجیره تأمین هوش مصنوعی نگرانی قابل توجهی دیگر را نشان می دهد. حدود 60 ٪ سازمانها به اجزای هوش مصنوعی منبع باز یا اکوسیستم متکی هستند. این خطر را ایجاد می کند زیرا مهاجمان می توانند این ابزارهای گسترده را به خطر بیاندازند. این گزارش از تکنیکی به نام “” استفاده می کندترشی خواب آلود، “که به مخالفان اجازه می دهد حتی پس از توزیع با مدل های هوش مصنوعی دست و پنجه نرم کنند. این باعث می شود تشخیص بسیار دشوار باشد.
- حملات خاص AI: تکنیک های جدید حمله به سرعت در حال تحول هستند. روش هایی مانند تزریق سریع ، فرار از زندان و آموزش استخراج داده ها به مهاجمان امکان می دهد کنترل های ایمنی را دور بزنند و به اطلاعات حساس موجود در مجموعه داده های آموزشی دسترسی پیدا کنند.
بردارهای حمله که سیستم های AI را هدف قرار می دهند
این گزارش ظهور بردارهای حمله را که بازیگران مخرب برای بهره برداری از نقاط ضعف در سیستم های هوش مصنوعی استفاده می کنند ، برجسته می کند. این حملات می تواند در مراحل مختلف چرخه زندگی هوش مصنوعی از جمع آوری داده ها و آموزش مدل گرفته تا استقرار و استنباط رخ دهد. هدف این است که اغلب رفتار هوش مصنوعی به روش های ناخواسته ، نشت داده های خصوصی یا انجام اقدامات مضر انجام شود.
طی سالهای اخیر ، این روشهای حمله پیشرفته تر و تشخیص سخت تر شده اند. این گزارش انواع مختلفی از بردارهای حمله را برجسته می کند:
- فرار از زندان: این تکنیک شامل ساخت و سازهای مخالف است که از اقدامات ایمنی یک مدل دور می زند. علیرغم پیشرفت در دفاع هوش مصنوعی ، تحقیقات سیسکو نشان می دهد که حتی زندانیان ساده در برابر مدلهای پیشرفته مانند Deepseek R1 نیز مؤثر هستند.
- تزریق سریع غیرمستقیم: بر خلاف حملات مستقیم ، این وکتور حمله شامل دستکاری داده های ورودی یا زمینه ای است که مدل AI به طور غیر مستقیم از آن استفاده می کند. مهاجمان ممکن است مواد منبع به خطر افتاده مانند PDF های مخرب یا صفحات وب را تأمین کنند و باعث می شود هوش مصنوعی خروجی های ناخواسته یا مضر تولید کند. این حملات به ویژه خطرناک است زیرا آنها نیازی به دسترسی مستقیم به سیستم هوش مصنوعی ندارند و به مهاجمان اجازه می دهند بسیاری از دفاع های سنتی را دور بزنند.
- آموزش استخراج و مسمومیت داده ها: محققان سیسکو نشان دادند که چت بابات ها را می توان در آشکار کردن بخش هایی از داده های آموزشی خود فریب داد. این نگرانی های جدی در مورد حریم خصوصی داده ها ، مالکیت معنوی و انطباق ایجاد می کند. مهاجمان همچنین می توانند با تزریق ورودی های مخرب ، داده های آموزش را مسموم کنند. نگران کننده ، مسمومیت فقط 0.01 ٪ از مجموعه داده های بزرگ مانند لائون -400 متر یا کویو-700 متر می تواند بر رفتار مدل تأثیر بگذارد ، و این می تواند با بودجه اندک (حدود 60 دلار) انجام شود و این حملات را برای بسیاری از بازیگران بد در دسترس قرار می دهد.
این گزارش نگرانی های جدی در مورد وضعیت فعلی این حملات را برجسته می کند ، در حالی که محققان در برابر مدلهای پیشرفته مانند موفقیت 100 ٪ موفقیت دارند Deepseek R1 وت لاما 2بشر این امر آسیب پذیری های مهم امنیتی و خطرات احتمالی مرتبط با استفاده از آنها را نشان می دهد. علاوه بر این ، این گزارش ظهور تهدیدات جدید مانند زندان های مبتنی بر صدا که به طور خاص برای هدف قرار دادن مدل های AI چند حالته طراحی شده اند.
یافته های تحقیقات امنیتی هوش مصنوعی سیسکو
تیم تحقیقاتی سیسکو جنبه های مختلف امنیت هوش مصنوعی را ارزیابی کرده و چندین یافته کلیدی را فاش کرده است:
- زندانیان الگوریتمی: محققان نشان دادند که حتی مدل های برتر AI نیز می توانند به طور خودکار فریب خورده باشند. با استفاده از روشی به نام درخت حملات با هرس (شیر)، محققان از حمایت های GPT-4 و LLAMA 2 دور شدند.
- خطرات در تنظیم دقیق: بسیاری از مشاغل مدل های بنیادی را به خوبی تنظیم می کنند تا ارتباط دامنه های خاص را بهبود بخشند. با این حال ، محققان دریافتند که تنظیم دقیق می تواند نگهبان های ایمنی داخلی را تضعیف کند. نسخه های خوب تنظیم شده بیش از سه برابر در برابر فرار از زندان و 22 برابر بیشتر از مدل های اصلی محتوای مضر تولید می کنند.
- آموزش استخراج داده ها: محققان سیسکو از یک روش تجزیه ساده برای فریب چت بابات در تولید مثل قطعات مقاله خبری استفاده کردند که آنها را قادر می سازد تا منابع مواد را بازسازی کنند. این خطرات را برای افشای داده های حساس یا اختصاصی ایجاد می کند.
- مسمومیت با داده ها: مسمومیت با داده ها: تیم سیسکو نشان می دهد که مسموم کردن مجموعه داده های وب در مقیاس بزرگ چقدر آسان و ارزان است. با حدود 60 دلار ، محققان موفق شدند 0.01 ٪ از مجموعه داده ها مانند Laion-400m یا Coyo-700m را مسموم کنند. علاوه بر این ، آنها تأکید می کنند که این سطح از مسمومیت برای ایجاد تغییرات قابل توجه در رفتار مدل کافی است.
نقش هوش مصنوعی در جرایم سایبری
هوش مصنوعی فقط یک هدف نیست – بلکه به ابزاری برای مجرمان سایبری تبدیل می شود. در این گزارش آمده است که اتوماسیون و مهندسی اجتماعی محور AI باعث شده است تا حملات مؤثرتر و سخت تر شوند. از کلاهبرداری های فیشینگ گرفته تا کلونینگ صوتی ، هوش مصنوعی به جنایتکاران کمک می کند تا حملات قانع کننده و شخصی را ایجاد کنند. این گزارش همچنین ظهور ابزارهای مخرب هوش مصنوعی مانند “تاریک، “به طور خاص برای کمک به جرایم سایبری با تولید ایمیل های فیشینگ یا بهره برداری از آسیب پذیری ها طراحی شده است. آنچه این ابزارها را به ویژه در مورد دسترسی آنها ایجاد می کند ، دسترسی آنهاست. حتی جنایتکاران کم مهارت اکنون می توانند حملات بسیار شخصی ایجاد کنند که از دفاع های سنتی جلوگیری می کنند.
بهترین روشها برای تأمین هوش مصنوعی
با توجه به ماهیت بی ثبات امنیت هوش مصنوعی ، سیسکو چندین مرحله عملی را برای سازمان ها توصیه می کند:
- ریسک را در طول چرخه عمر AI مدیریت کنید: شناسایی و کاهش خطرات در هر مرحله از چرخه زندگی هوش مصنوعی از منابع داده و آموزش مدل تا استقرار و نظارت بسیار مهم است. این همچنین شامل امنیت اجزای شخص ثالث ، استفاده از نگهبان های قوی و کنترل دقیق نقاط دسترسی است.
- از شیوه های امنیت سایبری استفاده کنید: در حالی که هوش مصنوعی منحصر به فرد است ، بهترین شیوه های امنیت سایبری سنتی هنوز هم ضروری است. تکنیک هایی مانند کنترل دسترسی ، مدیریت مجوز و پیشگیری از از دست دادن داده ها می توانند نقش مهمی داشته باشند.
- تمرکز روی مناطق آسیب پذیر: سازمان ها باید روی مناطقی که به احتمال زیاد مورد هدف قرار می گیرند ، مانند زنجیره های تأمین و برنامه های کاربردی هوش مصنوعی شخص ثالث تمرکز کنند. با درک اینکه آسیب پذیری ها در کجا قرار دارند ، مشاغل می توانند دفاع هدفمند تری را اجرا کنند.
- آموزش و آموزش کارمندان: با گسترش ابزارهای AI ، آموزش کاربران مهم است AI مسئول استفاده و آگاهی از خطر. نیروی کار آگاهانه به کاهش قرار گرفتن در معرض داده های تصادفی و سوء استفاده کمک می کند.
نگاه کردن
پذیرش هوش مصنوعی در حال رشد خواهد بود و با آن ، خطرات امنیتی تکامل می یابد. دولت ها و سازمانها در سراسر جهان در حال شناخت این چالش ها هستند و شروع به ایجاد سیاست ها و مقررات برای هدایت ایمنی هوش مصنوعی می کنند. همانطور که گزارش سیسکو برجسته می شود ، تعادل بین ایمنی هوش مصنوعی و پیشرفت دوره بعدی توسعه و استقرار هوش مصنوعی را تعریف می کند. سازمانهایی که امنیت را در کنار نوآوری در اولویت قرار می دهند ، به بهترین وجه مجهز خواهند بود تا چالش ها را برطرف کرده و فرصت های نوظهور را بدست آورند.
