یک عامل هوش مصنوعی وابسته به OpenAI، کنترل‌های دسترسی یک وب‌سایت دولتی را نادیده گرفت و به آن نفوذ کرد. این اتفاق باعث شد آنتونی آلبانیز، نخست‌وزیر استرالیا، نگرانی‌های خود را مستقیماً با سم آلتمن، مدیرعامل OpenAI، در میان بگذارد.
بی‌بی‌سی گزارش داده است که یک عامل هوش مصنوعی OpenAI در حین انجام تحقیقات داخلی، به یک پورتال آماری دولتی استرالیا دسترسی غیرمجاز پیدا کرده است. این رویداد، نگرانی‌های انتزاعی درباره رفتار خودمختار هوش مصنوعی را به یک مورد واقعی امنیت سایبری تبدیل می‌کند.
استرالیا می‌گوید این حادثه در ۱۸ ژوئن رخ داده است، زمانی که تیم تحقیقاتی OpenAI از یک مدل داخلی برای بررسی هزینه‌های عمومی پزشکی استفاده می‌کرد. اگرچه این عامل در تلاش برای کسب اطلاعات بارها مسدود شد، اما در نهایت به فایل‌های عمومی و غیرعمومی در پورتال خدمات گزارش‌دهی آمار مدیکر دسترسی پیدا کرد.
این اطلاعات شامل آمارهای کلی مدیکر، مانند داده‌های هزینه‌ها بود، اما سوابق پزشکی بیماران را در بر نمی‌گرفت. عامل هوش مصنوعی همچنین با سه وب‌سایت دولتی دیگر تعامل داشت، اما مقامات استرالیایی می‌گویند که تنها به اطلاعات عمومی در آن سایت‌ها دسترسی پیدا کرده است.
بنابراین، یک عامل هوش مصنوعی که در یک تحقیق قانونی استفاده می‌شد، با کنترل‌ها مواجه شد و به روش‌هایی عمل کرد که اپراتور آن قصد نداشت. پس از مسدود شدن، «راهی برای دور زدن آن موانع پیدا کرد» و به مناطقی دسترسی یافت که نباید به آن‌ها می‌رسید.
این توالی برای متخصصان امنیت آشناست. یک سیستم با یک مرز کنترل دسترسی مواجه می‌شود، به دنبال مسیر دیگری می‌گردد و موفق می‌شود به منبعی فراتر از مجوز خود دست یابد.
یکی از نگرانی‌های اصلی استرالیا این است که اطلاع‌رسانی درباره این حادثه بیش از حد طول کشید. دسترسی غیرمجاز در ماه ژوئن رخ داد. OpenAI اعلام کرد که در ماه اوت، هنگام بررسی فعالیت‌های نامنظم مدل، از این موضوع مطلع شده و سپس در ۱۰ سپتامبر به صندوق پستی عمومی سرویسز استرالیا ایمیل ارسال کرده است. سرویسز استرالیا این پیام را پنج روز بعد به مقامات سایبری استرالیا ارجاع داد.
چنین تاخیرهایی می‌تواند فاجعه‌بار باشد، زیرا سازمان‌های آسیب‌دیده به جزئیات کافی و به موقع نیاز دارند تا شواهد را حفظ کنند، میزان آسیب‌پذیری را ارزیابی کنند، فعالیت‌های مرتبط را مهار کنند و تصمیم بگیرند که آیا اطلاع‌رسانی لازم است یا خیر.
ناهماهنگی هوش مصنوعی
OpenAI رفتاری را که در آن یک مدل بدون مجوز عمل می‌کند یا از نظارت فرار می‌کند، «ناهماهنگی» توصیف می‌کند. پیشنهاد جدید ارزیابی شخص ثالث این شرکت، به طور خاص، بررسی مستقل حوادث ناهماهنگی بحرانی را به عنوان یکی از چهار اولویت برای بررسی خارجی شناسایی می‌کند.
OpenAI می‌گوید که می‌خواهد ارزیابان مستقل دسترسی عمیقی به فرآیندهای آموزش، ارزیابی و استقرار داشته باشند تا بتوانند فرضیات شرکت را به چالش بکشند و اثربخشی تدابیر حفاظتی آن را قضاوت کنند.
اما، همانطور که من در مورد این پیشنهاد به CIO گفتم، اصول به تنهایی یک شرکت را مجبور نمی‌کند که یک دامنه ارزیابی خاص را بپذیرد، یافته‌های نامطلوب را منتشر کند یا تصمیم استقرار را تغییر دهد. اعتبار آن‌ها در نهایت به این بستگی دارد که آیا کارشناسان مستقل می‌توانند تحقیقات واقعاً دشواری را انجام دهند و آیا افراد خارجی می‌توانند یافته‌ها، اصلاحات، ویرایش‌ها و تصمیمات استقراری را که به دنبال آن می‌آیند، تأیید کنند.
برای سازمان‌هایی که از عوامل هوش مصنوعی استفاده می‌کنند، درس عملی به همان اندازه مهم است: یک عامل را فقط یک چت‌بات دیگر در نظر نگیرید. آن را بیشتر شبیه به یک جزء نرم‌افزاری نیمه‌خودمختار با اعتبارنامه‌ها، ابزارها، دسترسی به شبکه و توانایی انتخاب‌های غیرمنتظره در نظر بگیرید.
علاوه بر مهار این عوامل، مشکل دیگری که باید حل کنیم، تحلیل کارهایی است که آن‌ها انجام داده‌اند. یکی از چیزهایی که از حادثه Hugging Face آموختیم این است که عوامل هوش مصنوعی می‌توانند دروغ بگویند و سعی کنند کارهایی را که انجام داده‌اند پنهان کنند.
عوامل هوش مصنوعی می‌توانند یک مشکل دشوار در تشخیص ایجاد کنند، زیرا ممکن است حجم زیادی از فعالیت‌های خودکار را در حین دنبال کردن یک هدف از طریق مسیرهای متعدد تولید کنند. این می‌تواند مدافعان را با یک مسیر پر سر و صدا از درخواست‌های ناموفق، تلاش‌های مجدد و اقدامات جایگزین مواجه کند و شناسایی رویدادی را که از مرز مجوز عبور کرده، دشوارتر سازد. هنوز مشخص نیست که آیا این موضوع به عدم تشخیص خود حادثه توسط دولت استرالیا کمک کرده است یا خیر، اما این مورد نشان می‌دهد که چرا سازمان‌ها به نظارتی نیاز دارند که برای شناسایی رفتار غیرعادی عامل هوش ترانه مصنوعی طراحی شده باشد، نه فقط الگوهای نفوذ سنتی.
این رویداد قبلاً یک نکته گسترده‌تر را نشان داده است: کافی نیست که آزمایشگاه‌های هوش مصنوعی بگویند که ناهماهنگی را آزمایش می‌کنند. آن‌ها باید نشان دهند که آزمایش‌هایشان مستقل، قوی در شرایط واقعی و با پاسخگویی سریع و قابل تأیید در صورت شکست تدابیر حفاظتی همراه است.
