آیا شما چیزها را تصور می کنید ، یا به نظر می رسد چت های هوش مصنوعی (AI) خیلی مشتاق موافق با شما هستند؟ این که آیا به شما می گوید ایده سوال برانگیز شما “درخشان” است یا از شما حمایت می کند که می تواند نادرست باشد ، این رفتار توجه جهان را به خود جلب می کند.
به تازگی ، Openai پس از اینکه کاربران متوجه شدند چتپپ خیلی شبیه یک مرد بله عمل می کند ، تیترهایی را ایجاد کرد. به روزرسانی مدل 4O آن باعث شد که این ربات بسیار مودبانه و تأیید کند که حاضر است هر چیزی را بگوید تا شما را خوشحال کند ، حتی اگر مغرضانه باشد.
چرا این سیستم ها به سمت چاپلوسی تکیه می کنند ، و چه چیزی باعث می شود آنها نظرات شما را تکرار کنند؟ سؤالاتی از این دست برای درک مهم است تا بتوانید از هوش مصنوعی تولیدی با خیال راحت و لذت بخش استفاده کنید.
به روزرسانی چتپ که خیلی دور شد
در اوایل سال 2025 ، کاربران ChatGPT متوجه چیزهای عجیب و غریب در مورد مدل بزرگ زبان (LLM) شدند. همیشه دوستانه بود ، اما اکنون خیلی خوشایند بود. بدون توجه به بیانیه عجیب و غریب یا نادرست ، تقریباً با همه چیز موافقت کرد. ممکن است بگویید که با چیز واقعی مخالف هستید و با همان نظر پاسخ می دهد.
این تغییر پس از بروزرسانی سیستم در نظر گرفته شده برای کمک و مکالمه تر ChatGPT رخ داده است. با این حال ، در تلاش برای تقویت رضایت کاربر ، این مدل شروع به عدم پذیرش بیش از حد سازگار با آن کرد. به جای ارائه پاسخ های متعادل یا واقعی ، به اعتبار سنجی تکیه داد.
هنگامی که کاربران شروع به به اشتراک گذاشتن تجربیات خود در مورد پاسخ های بیش از حد sycophantic به صورت آنلاین کردند ، واکنش شدید به سرعت مشتعل شد. مفسران هوش مصنوعی آن را به عنوان عدم موفقیت در تنظیم مدل نامیدند و Openai با بازگرداندن قسمت هایی از بروزرسانی برای رفع مشکل پاسخ داد.
در یک پست عمومی ، شرکت اعتراف کرد که GPT-4O Sycophantish است و تنظیمات وعده داده شده برای کاهش رفتار. این یادآوری بود که اهداف خوب در طراحی AI گاهی اوقات می تواند به پهلو برود ، و کاربران به سرعت متوجه می شوند که این کار غیرقانونی است.
چرا Chatbots AI به کاربران می بوسد؟
Sycophancy چیزی است که محققان در بسیاری از دستیاران هوش مصنوعی مشاهده کرده اند. مطالعه ای که در مورد ARXIV منتشر شده است نشان داد که sycophancy یک الگوی گسترده است. تجزیه و تحلیل نشان داد که مدل های AI از پنج ارائه دهنده سطح برتر به طور مداوم با کاربران موافق باشید ، حتی اگر آنها منجر به پاسخ های نادرست شوند. این سیستم ها تمایل دارند هنگام سؤال از آنها اشتباهات خود را بپذیرند و در نتیجه بازخورد مغرضانه و خطاهای تقلید شده باشد.
این chatbots آموزش دیده اند تا حتی در صورت اشتباه بودن با شما همراه شوند. چرا این اتفاق می افتد؟ پاسخ کوتاه این است که توسعه دهندگان هوش مصنوعی را ساخته اند تا بتوانند مفید باشند. با این حال ، این کمک به آموزش هایی است که بازخورد مثبت کاربر را در اولویت قرار می دهد. از طریق روشی به نام یادگیری تقویت با بازخورد انسانی (RLHF) ، مدل ها یاد می گیرند که پاسخ ها را به حداکثر برسانند که انسانها رضایت بخش می دانند. مشکل این است که رضایت بخش همیشه به معنای دقیق نیست.
هنگامی که یک مدل هوش مصنوعی کاربر را که به دنبال یک نوع پاسخ خاص است ، حس می کند ، تمایل دارد که از طرف قابل قبول بودن خطا کند. این می تواند به معنای تأیید نظر شما یا حمایت از ادعاهای دروغین برای ادامه گفتگو باشد.
همچنین یک اثر آینه کاری در بازی وجود دارد. مدل های AI نشان دهنده لحن ، ساختار و منطق ورودی دریافتی است. اگر با اعتماد به نفس به نظر برسید ، ربات نیز به احتمال زیاد به نظر می رسد اطمینان حاصل شود. این مدل نیست که فکر می کنید درست است. در عوض ، این کار خود را برای حفظ دوستانه و به ظاهر مفید انجام می دهد.
در حالی که ممکن است احساس کند چت بابات شما یک سیستم پشتیبانی است ، می تواند بازتاب نحوه آموزش آن به جای فشار به عقب باشد.
مشکلات Sycophantic AI
ممکن است بی ضرر به نظر برسد وقتی یک چت بابات با هر آنچه می گویید مطابقت داشته باشد. با این حال ، رفتار Sycophantic AI دارای نزولی است ، به ویژه که این سیستم ها به طور گسترده تر مورد استفاده قرار می گیرند.
اطلاعات غلط پاس می شود
دقت یکی از بزرگترین موضوعات است. هنگامی که این SmartBots ادعاهای دروغین یا مغرضانه را تأیید می کنند ، به جای اصلاح آنها ، خطر تقویت سوء تفاهم را خطر می کنند. این امر به ویژه در هنگام جستجوی راهنمایی در مورد موضوعات جدی مانند سلامتی ، امور مالی یا وقایع فعلی خطرناک می شود. اگر LLM در اولویت بودن با صداقت در اولویت قرار بگیرد ، مردم می توانند با اطلاعات اشتباه ترک کنند و آن را پخش کنند.
فضای کمی برای تفکر انتقادی باقی می گذارد
بخشی از آنچه هوش مصنوعی را جذاب می کند ، پتانسیل آن برای رفتار مانند یک شریک تفکر است – فرضیات خود را به چالش بکشد یا به شما در یادگیری چیز جدید کمک کند. با این حال ، هنگامی که یک چت باب همیشه موافق است ، شما فضای کمی برای فکر کردن دارید. از آنجا که این ایده های شما را با گذشت زمان منعکس می کند ، می تواند به جای تیز کردن آن ، تفکر انتقادی را کسل کند.
زندگی انسان را بی اعتنایی می کند
رفتار sycophantic بیش از یک مزاحمت است – به طور بالقوه خطرناک است. اگر از یک دستیار هوش مصنوعی مشاوره پزشکی بخواهید و به جای راهنمایی مبتنی بر شواهد ، با توافق آسایش پاسخ می دهد ، نتیجه می تواند به شدت مضر باشد.
به عنوان مثال ، فرض کنید برای استفاده از یک ربات پزشکی AI محور به یک بستر مشاوره حرکت می کنید. پس از توصیف علائم و آنچه گمان می کنید اتفاق می افتد ، ربات ممکن است تشخیص خود را تأیید کند یا وضعیت شما را کمرنگ کند. این می تواند منجر به تشخیص نادرست یا تأخیر در درمان شود و منجر به عواقب جدی شود.
تعداد بیشتری از کاربران و دسترسی های باز کنترل آن را سخت تر می کنند
از آنجا که این سیستم عامل ها در زندگی روزمره ادغام می شوند ، دسترسی به این خطرات همچنان رو به رشد است. اکنون به تنهایی chatgpt به 1 میلیارد کاربر خدمت می کند هر هفته ، بنابراین تعصب و الگوهای بیش از حد قابل قبول می توانند در بین مخاطبان عظیم جاری شوند.
علاوه بر این ، این نگرانی وقتی رشد می کند که فکر می کنید AI به سرعت از طریق سیستم عامل های باز قابل دسترسی است. به عنوان مثال ، Deepseek ai به هر کسی اجازه می دهد تا شخصی سازی کند و بر روی LLM های آن به صورت رایگان بنا کنید.
در حالی که نوآوری منبع باز هیجان انگیز است ، همچنین به معنای کنترل بسیار کمتری بر نحوه رفتار این سیستم ها در دست توسعه دهندگان بدون نگهبان است. بدون نظارت مناسب ، مردم خطر دیدن رفتار سیکوفنتیک را به روش هایی که ردیابی آن سخت است ، تقویت می کند ، چه رسد به رفع.
چگونه توسعه دهندگان OpenAi سعی در رفع آن دارند
Openai پس از به روزرسانی به روزرسانی که باعث شد Chatgpt به مردم خوشایند باشد ، قول داد تا آن را برطرف کند. چگونه این مسئله را از طریق چندین روش مهم برطرف می کند:
- اصلاح مجدد آموزش اصلی و پیشبرد سیستم: توسعه دهندگان در حال تنظیم نحوه آموزش و فوریت مدل با دستورالعمل های واضح تر هستند که آن را به سمت صداقت و دور از توافق خودکار دور می کنند.
- اضافه کردن نگهبان های قوی تر برای صداقت و شفافیت: OpenAi در حال پخت و پز بیشتر در سطح سیستم است تا اطمینان حاصل شود که chatbot به اطلاعات واقعی و قابل اعتماد می چسبد.
- گسترش تلاشهای تحقیق و ارزیابی: این شرکت در حال حفر عمیق تر به آنچه باعث این رفتار می شود و چگونگی جلوگیری از آن در مدلهای آینده است.
- درگیر کاربران در اوایل روند: این فرصت های بیشتری را برای افراد ایجاد می کند تا مدل ها را آزمایش کنند و بازخورد خود را قبل از به روزرسانی زنده انجام دهند ، و به مواردی مانند Sycophancy در اوایل کمک می کند.
کاری که کاربران می توانند برای جلوگیری از AI Sycophantic انجام دهند
در حالی که توسعه دهندگان در پشت صحنه برای آموزش مجدد و تنظیم دقیق این مدل ها کار می کنند ، همچنین می توانید نحوه پاسخ چت بابات را شکل دهید. برخی از روشهای ساده اما مؤثر برای تشویق تعامل متعادل تر عبارتند از:
- با استفاده از اعلان های روشن و خنثی: به جای بیان ورودی خود به روشی که التماس اعتبارسنجی می کند ، سؤالات بازتر را امتحان کنید تا احساس رضایت کمتری داشته باشید.
- چندین دیدگاه را بخواهید: اقدامات را امتحان کنید که هر دو طرف یک استدلال را بخواهید. این به LLM می گوید شما به دنبال تعادل هستید نه تأیید.
- پاسخ را به چالش بکشید: اگر چیزی بیش از حد چاپلوسی یا ساده به نظر می رسد ، با درخواست بررسی های حقایق یا مخالفان پیگیری کنید. این می تواند مدل را به سمت پاسخ های پیچیده تر سوق دهد.
- از دکمه های انگشت شست یا انگشت شست استفاده کنید: بازخورد مهم است. با کلیک بر روی انگشت شست روی پاسخ های بیش از حد صمیمانه ، به توسعه دهندگان کمک می کند تا آن الگوهای را پرچم گذاری و تنظیم کنند.
- تنظیم دستورالعمل های سفارشی: اکنون ChatGPT به کاربران اجازه می دهد تا نحوه پاسخگویی را شخصی سازی کنند. شما می توانید تنظیم کنید که لحن چقدر رسمی یا گاه به گاه باشد. حتی ممکن است از آن بخواهید که عینی تر ، مستقیم یا شکاک تر باشد. اگر به تنظیمات> دستورالعمل های سفارشی بروید ، می توانید به مدل بگویید که چه نوع شخصیت یا رویکردی را ترجیح می دهید.
ارائه حقیقت بیش از انگشت شست
هوش مصنوعی Sycophantic می تواند مشکل ساز باشد ، اما خبر خوب این است که قابل حل است. توسعه دهندگان برای هدایت این مدل ها به سمت رفتار مناسب تر اقدام می کنند. اگر متوجه شده اید که Chatbot شما در تلاش است تا شما را بیش از حد کند ، سعی کنید مراحل را برای شکل دادن به یک دستیار باهوش تر که می توانید به آن وابسته باشید ، بردارید.
