هوش مصنوعی در آزمایش‌ها از کنترل محققان خارج شد
تاریخ انتشار: ۱۰ بهمن ۱۴۰۲ | کد خبر: ۳۹۶۳۴۵۸۴
به گزارش گروه علم و پیشرفت خبرگزاری فارس به نقل از لایوساینس، محققان هوش مصنوعی دریافتند که تکنیک‌های آموزش ایمنی پرکاربرد در حذف رفتار مخرب از مدل‌های زبان بزرگ شکست خورده و حتی یک تکنیک نتیجه معکوس داشت و به هوش مصنوعی آموخت که محرک‌های خود را بشناسد و رفتار بد خود را بهتر از محققان پنهان کند.
محققان هوش مصنوعی دریافتند که تکنیک‌های پرکاربرد آموزش ایمنی در حذف رفتار مخرب از مدل‌های زبانی بزرگ شکست خورده است و حتی یک تکنیک نتیجه معکوس داشت و به هوش مصنوعی آموخت که محرک‌های خود را بشناسد و رفتار بد خود را بهتر پنهان کند.
بیشتر بخوانید:
اخباری که در وبسایت منتشر نمی‌شوند!
مطالعه جدید نشان می‌دهد که سیستم‌های هوش مصنوعی که برای مخرب بودن آموزش دیده بودند، در برابر پیشرفته‌ترین روش‌های ایمنی طراحی‌شده برای پاکسازی آنها، مقاومت کردند.
محققان مدل‌های زبانی بزرگ مختلف (سیستم‌های هوش مصنوعی مولد مشابه چت جی پی تی) را برای رفتار مخرب برنامه‌ریزی کردند. سپس، آنها سعی کردند این رفتار را با استفاده از چندین تکنیک آموزش ایمنی که برای ریشه کن کردن فریب و سوء نیت طراحی شده اند، حذف کنند.
آنها دریافتند که صرف نظر از تکنیک آموزشی یا اندازه مدل، مدل های بزرگ زبانی به بدرفتاری خود ادامه دادند. دانشمندان در مقاله خود گفتند که یک تکنیک حتی نتیجه معکوس داشت: آموزش هوش مصنوعی برای شناسایی محرکِ اعمال مخرب خود و درنتیجه پنهان کردن رفتار ناامن هوش مصنوعی در طول آموزش.
محققان اعلام کردند نتایج نشان می‌دهد که ما در حال حاضر دفاع خوبی در برابر فریب در سیستم‌های هوش مصنوعی نداریم به جز اینکه امیدواریم این اتفاق نیفتد و از آنجایی که ما واقعاً هیچ راهی برای دانستن احتمال وقوع آن نداریم، به این معنی است که ما هیچ دفاع قابل اعتمادی در برابر آن نداریم.
پایان پیام/
منبع: فارس
کلیدواژه: هوش مصنوعی
درخواست حذف خبر:
«خبربان» یک خبرخوان هوشمند و خودکار است و این خبر را به‌طور اتوماتیک از وبسایت www.farsnews.ir دریافت کرده‌است، لذا منبع این خبر، وبسایت «فارس» بوده و سایت «خبربان» مسئولیتی در قبال محتوای آن ندارد. چنانچه درخواست حذف این خبر را دارید، کد ۳۹۶۳۴۵۸۴ را به همراه موضوع به شماره ۱۰۰۰۱۵۷۰ پیامک فرمایید. لطفاً در صورتی‌که در مورد این خبر، نظر یا سئوالی دارید، با منبع خبر (اینجا) ارتباط برقرار نمایید.
با استناد به ماده ۷۴ قانون تجارت الکترونیک مصوب ۱۳۸۲/۱۰/۱۷ مجلس شورای اسلامی و با عنایت به اینکه سایت «خبربان» مصداق بستر مبادلات الکترونیکی متنی، صوتی و تصویر است، مسئولیت نقض حقوق تصریح شده مولفان در قانون فوق از قبیل تکثیر، اجرا و توزیع و یا هر گونه محتوی خلاف قوانین کشور ایران بر عهده منبع خبر و کاربران است.
خبر بعدی:
زمین توان پذیرش رفاه مصنوعی را ندارد
ایسنا/مازندران عضو هیئت علمی دانشگاه نوشیروانی بابل با بیان اینکه طی ۲۰ سال اخیر مسائل محیط زیستی اعم از ریزگردها، زباله شهرهای شمالی در ساحل، از بین رفتن جنگل‌ها، زمین خواری، کوه خواری، ماسه خواری و دسترسی زیاد به دریا افزایش یافته، گفت: لازم است مسئولان کشورهای مختلف این مسائل را جدی‌تر تلقی کنند؛ چرا که زمین توان پذیرش جمعیت بیشتر و استفاده و رفاه تصنعی را ندارد.
استادیار گروه آموزشی محیط زیست دانشکده مهندسی عمران دانشگاه نوشیروانی بابل به مناسبت هفته «زمین پاک» در گفت‌وگو با ایسنا اظهار کرد: انسان از ۱۰ هزار سال پیش کشاورزی و یکجا نشینی و توسعه شهرها را شروع کرد که حدود ۳۰۰ سال پیش وارد انقلاب و دوره صنعتی شد و به طور خاص بعد از جنگ جهانی دوم وارد دوره جدیدی شد و عصر جدیدی شروع شد که ۲۰۰ سال پیش وجود نداشت.
عزیر عابسی تصریح کرد: این عصر جدید با افزایش جمعیت به شدت زیاد انسان از ۱ به ۸ میلیارد و افزایش سطح رفاه و بهداشت انسان که همه و همه در پی آن مصرف بالای آب، انرژی، تغییر کاربری اراضی و تولید زباله را نیز به همراه داشته روبرو شد.
وی با اشاره به اینکه به گفته بسیاری از افراد در گذشته این مشکلات وجود نداشت که کاملا درست است، خاطرنشان کرد: در قدیم پلاستیک نبود، نوشیدنی‌ها در ظرف‌های یکبار مصرف استفاده نمی‌شد، زباله‌های الکترونیکی اصلا وجود نداشت.
استادیار و عضو هیئت علمی دانشگاه نوشیروانی بابل ادامه داد: این موارد مسائل هزاره جدید، سده جدید و شاید حتی طی۳۰ سال اخیر است که باعث فشار زیاد به طبیعت شده است.
وی افزود: زباله‌هایی که طبیعت نمی‌تواند در خود جذب و هضم کند، منابع آبی که دیگر طبیعت برای فعالیت‌های کشاورزی و صنعتی ندارد همچنین منابع سوختی که از اعماق زمین خارج و وارد اتمسفر می‌شود موجب گرمایش زمین شده است.
عابسی با اشاره اینکه دوره جدید، دوره‌ای است که زمین تحت فشار است و نیاز به حمایت دارد، افزود: باید ۸ میلیارد انسانی که روی کره زمین زندگی می‌کنند متوجه شوند که رفتار سنتی و غلط را عوض کنند و آموزش متناسب و مدرن ببینند.
این محقق، پژوهشگر و استاد محیط زیست تاکید کرد: بچه‌هایی که با موبایل، باتری و لوازم الکترونیکی در ارتباط هستند باید بدانند که این موارد بعد از چند سال به بدترین و خطرناک‌ترین نوع زباله به دلیل وجود سرب و جیوه تبدیل می‌شوند.همچنین تا می‌توانند از مصرف پلاستیک پرهیز کنند و اگر استفاده کردند به گونه‌ای باشد که وارد روند بازیافت شود.
وی افزود: فرهنگ سازی، آموزش و فهمیدن تغییری که اتفاق افتاده را حتما باید به نسل جدید دانش آموزان و دانشجویان آموزش داد چرا که جای این آموزش به شدت خالی است.
عابسی با بیان اینکه درسی در دوره دوم متوسط به نام شناخت انسان و محیط زیست وارد شد که خیلی دیر است، تصریح کرد: چون این آموزش‌ها باید از دبستان شروع شود و در دانشگاه هم همین درس اختیاری است و به همین دلیل خیلی از فارغ التحصیلان مقطع دکتری موارد بسیار ساده محیط زیست را نمی‌دانند در حالی هر بچه‌ای در اروپا در حال آموزش دیدن موضوعات مختلف محیط زیستی است.
استادیار و عضو هیئت علمی دانشگاه نوشیروانی بابل با اشاره اینکه آموزش خیلی خیلی مهم است، ادامه‌داد: متاسفانه آموزش‌ها هنوز به صورت مبسوط شروع نشده و تصمیات خیلی ساده‌ای گرفته شد و بیشتر خانواده‌ها خودشان آموزش‌های لازم را به فرزندانشان می‌دهند.
وی افزود: شبکه‌های مردم نهاد نیز با اجرای برنامه‌های مختلف در این راستا کمک می‌کنند اما بنا به اعتقاد بسیاری از کارشناسان، مسئولان، مدارس و دانشگاه کوتاهی کرده و برای آموزش و حل معضلات ورود نکرده است.
انتهای پیام
دانشجویان سال سوم دانشگاهها، بورسیه دانشگاه فرهنگیان می‌شوند