به گزارش افتانا، مؤسسه ملی استاندارد و فناوری ایالات متحده (NIST) اخیراً طرحی مفهومی با عنوان «پوششهای کنترلی برای ایمنسازی سیستمهای هوش مصنوعی» یا COSAIS ارائه کرده که هدف آن تطبیق چارچوبهای امنیتی موجود با تهدیدهای خاص هوش مصنوعی است.برخلاف نرمافزارهای متداول، سیستمهای هوش مصنوعی با مجموعهای از تهدیدهای نوظهور مواجهاند که کنترلهای متعارف امنیتی قادر به مقابله کامل با آنها نیستند. از جمله این تهدیدها میتوان به مسمومسازی دادههای آموزشی (Data Poisoning)، تزریق پرامپت (Prompt Injection)، وارونسازی مدل (Model Inversion) و حملات تخاصمی (Adversarial Attacks) اشاره کرد. این تهدیدها نهتنها پیچیدهتر از حملات رایج در حوزه فناوری اطلاعات هستند، بلکه بهدلیل ماهیت یادگیرنده و پویا بودن مدلهای هوش مصنوعی، نیازمند رویکردی ساختاریافته و تخصصی در زمینه امنیتاند.طرح COSAIS بر پایه چارچوب امنیتی SP 800-53 توسعه یافته است؛ چارچوبی که سالهاست بهعنوان مرجع اصلی کنترلهای امنیتی و حریم خصوصی در بسیاری از سازمانهای تجاری مورد استفاده قرار میگیرد. اما آنچه COSAIS را متمایز میسازد، بازتعریف این کنترلها برای پوشش خطرات خاص هوش مصنوعی است. در این طرح، زیرمجموعههایی خاص از SP 800-53 طراحی شدهاند که بهطور ویژه برای مقابله با تهدیدهای مرتبط با مدلهای یادگیری ماشین و سیستمهای عامل هوشمند تنظیم شدهاند.در تدوین این پوششها، NIST از چارچوبهای موجود مانند چارچوب مدیریت ریسک هوش مصنوعی، طبقهبندی یادگیری ماشین تخاصمی و شیوههای توسعه امن برای مدلهای مولد بهره گرفته است. این تلفیق باعث شده تا COSAIS نهتنها از نظر فنی قابل اتکا باشد، بلکه از نظر عملی نیز برای تیمهای امنیتی و توسعهدهندگان قابل اجرا و ملموس باشد.
در مستندات منتشرشده، پنج کاربرد کلیدی هوش مصنوعی بهعنوان نقاط تمرکز اصلی معرفی شدهاند: مدلهای مولد مانند LLMها، سیستمهای پیشبینیکننده، عاملهای هوشمند تکعاملی، سیستمهای چندعاملی و محیطهای توسعهای که امنیت توسعهدهندگان را تحت تأثیر قرار میدهند. برای هر یک از این کاربردها، مجموعهای از کنترلهای تطبیقی پیشنهاد شده که بهطور خاص برای مقابله با تهدیدهای مرتبط با آن حوزه طراحی شدهاند. بهعنوان مثال، در مدلهای مولد، اعتبارسنجی خروجیها و نظارت بر رفتار مدل در برابر تزریق پرامپت از جمله اقدامات ضروری محسوب میشوند. در مقابل، در محیطهای توسعه، کنترل دسترسی، ثبت فعالیتها و مستندسازی تصمیمات مدل از اهمیت بالایی برخوردارند.
نکته قابل توجه در این طرح، حفظ پیوستگی با چارچوبهای شناختهشده و در عین حال ارائه راهکارهای نوآورانه برای چالشهای جدید است. این رویکرد باعث میشود تا تیمهای امنیتی بتوانند با حفظ ساختارهای آشنا، بهصورت مؤثر با تهدیدهای نوظهور مقابله کنند و در عین حال توسعهدهندگان نیز از مسیرهای مشخص و قابل پیادهسازی برای ایمنسازی مدلهای خود بهرهمند شوند.
NIST در ادامه این مسیر، از جامعه متخصصان امنیت توسعهدهندگان هوش مصنوعی و سازمانهای فعال دعوت کرده تا در توسعه این پوششها مشارکت کنند. نسخه اولیه عمومی COSAIS قرار است در سال ۲۰۲۶ منتشر شود و انتظار میرود بهعنوان مرجع جدیدی در ایمنسازی سیستمهای هوش مصنوعی شناخته شود.
