7 ترفند مهندسی سریع برای کاهش توهم در LLM
مقدمه
مدل های زبان بزرگ (LLM) توانایی های استثنایی برای استدلال، خلاصه کردن و تولید متن خلاقانه را نشان می دهد. با این حال، آنها همچنان نسبت به مشکل رایج حساس هستند توهماتکه شامل تولید اطلاعات ظاهراً قابل اعتماد، اما نادرست، غیرقابل تأیید و گاهی اوقات حتی پوچ است.
LLM ها متنی را بر اساس مدل های پیچیده آماری و احتمالاتی تولید می کنند تا اینکه اساساً بر تأیید صحت پایه ای تکیه کنند. در برخی مناطق بحرانی، این مشکل می تواند اثرات منفی عمده ای داشته باشد. قوی مهندسی سریعکه شامل مهارت ایجاد اعلانهای ساختاریافته با دستورالعملها، محدودیتها و زمینه است، میتواند یک استراتژی موثر برای کاهش توهم باشد.
هفت تکنیک ذکر شده در این مقاله، همراه با الگوهای سریع مثال، نشان میدهد که چگونه سیستمهای LLM مستقل و سیستمهای نسل افزوده بازیابی (RAG) میتوانند عملکرد خود را بهبود بخشند و با اجرای ساده آنها در پرسشهای کاربر، در برابر توهمات قویتر شوند.
1. پاسخ های ممتنع و «نمی دانم» را تشویق کنید
LLM ها معمولاً بر ارائه پاسخ هایی تمرکز می کنند که حتی در مواقع نامطمئن هم مطمئن به نظر می رسند – بررسی کنید این مورد برای درک جزئیات اینکه چگونه LLM ها متن تولید می کنند و از این طریق حقایق ساختگی ایجاد می کنند. صراحتاً اجازه دادن به بردباری می تواند LLM را به سمت کاهش حس اعتماد به نفس کاذب هدایت کند. بیایید به یک مثال سریع برای انجام این کار نگاه کنیم:
“شما یک جادوگر حقیقتسنجی هستید. اگر از پاسخ مطمئن نیستید، بگویید: “من اطلاعات کافی برای پاسخ به این سوال ندارم.” اگر مطمئن هستید، پاسخ خود را با یک دلیل کوتاه ارائه دهید.
اعلان بالا با یک سوال واقعی یا بررسی واقعیت دنبال می شود.
نمونه ای از پاسخ مورد انتظار این خواهد بود:
“من اطلاعات کافی برای پاسخ به این سوال ندارم.”
یا
«بر اساس شواهد موجود، پاسخ… (استدلال) است.»
این اولین خط دفاعی خوبی است، اما هیچ چیز مانع از نادیده گرفتن این دستورالعمل ها توسط LLM نمی شود. بیایید ببینیم چه کارهای دیگری می توانیم انجام دهیم.
2. استدلال ساختاری و زنجیره ای از فکر
درخواست از یک مدل زبانی برای اعمال استدلال گام به گام، ثبات درونی را تقویت می کند و شکاف های منطقی را که گاهی اوقات می تواند باعث توهم مدل شود، کاهش می دهد. THE استدلال زنجیره ای فکری (CoT). این استراتژی اساساً شامل شبیهسازی یک الگوریتم است، مانند فهرستی از مراحل یا مراحلی که مدل باید بهطور متوالی به آنها بپردازد تا کار کلی را حل کند. یک بار دیگر، الگوی نمونه زیر قرار است با درخواست خاص شما همراه باشد.
“لطفاً در مورد این مشکل قدم به قدم فکر کنید:
1) چه اطلاعاتی داده می شود؟
2) چه فرضیاتی لازم است؟
3) چه نتیجه ای منطقی به دنبال دارد؟
نمونه ای از پاسخ مورد انتظار:
“1) حقایق شناخته شده: الف، ب. 2) فرضیه ها: ج. 3) بنابراین نتیجه: د.”
3. زمینه سازی با «مطابق»
این نکته مهندسی سریع برای پیوند دادن پاسخ مورد نظر به منابع نامگذاری شده طراحی شده است. اثر آن، دلسرد کردن توهمات مبتنی بر اختراع و تحریک استدلال مبتنی بر حقایق است. این استراتژی به طور طبیعی می تواند با شماره 1 ذکر شده در بالا ترکیب شود.
“بر اساس گزارش 2023 سازمان جهانی بهداشت (WHO)، محرک های اصلی مقاومت ضد میکروبی را توضیح دهید. اگر گزارش جزئیات کافی را ارائه نکرد، بگویید “نمی دانم”.
نمونه ای از پاسخ مورد انتظار:
“بر اساس WHO (2023)، دلایل اصلی استفاده بیش از حد از آنتی بیوتیک ها، بهداشت نامناسب و فروش غیرقانونی داروها است. جزئیات بیشتر در دسترس نیست.”
4. RAG با دستورالعمل و زمینه صریح
پارچه به مدل اجازه دسترسی به پایگاه دانش یا پایگاه سند حاوی داده های متنی تأیید شده یا فعلی را می دهد. با این وجود، خطر توهم در سیستمهای RAG باقی میماند، مگر اینکه یک اعلان خوب طراحی شده به سیستم دستور دهد که منحصراً بر متن بازیابی شده تکیه کند.
*[Assume two retrieved documents: X and Y]*
“فقط با استفاده از اطلاعات
نمونه ای از پاسخ مورد انتظار:
“بر اساس Doc X و Doc Y، دلایل اصلی شامل گسترش کشاورزی و قطع غیرقانونی درختان است. برای پروژه های زیرساختی، داده ها کافی نیست.”
5. محدودیت های خروجی و دامنه محدود
کنترل دقیق قالب نتایج تولید شده و طول آنها به کاهش توهمات به شکل گزاره های حدسی یا مماس، مانند ادعاهای دلایل غیرپشتیبانی، زنجیره های استدلال بیش از حد دقیق، یا آمارهای ابداع شده کمک می کند و در نتیجه از نتایجی که ممکن است از منابع خارج شوند جلوگیری می کند.
محدود کردن «درجات آزادی» در فضای پاسخ، شانس بازگرداندن اطلاعات قابل تأیید را به جای پر کردن شکافها «به هر حال» افزایش میدهد.
“در حداکثر 100 کلمه، نقش میتوکندری در سلول های انسانی را خلاصه کنید. اگر شک دارید، “نمی دانم” را پاسخ دهید.”
نمونه ای از پاسخ مورد انتظار:
میتوکندری ها ATP را از طریق فسفوریلاسیون اکسیداتیو تولید می کنند، سطح کلسیم را تنظیم می کنند و بر آپوپتوز تأثیر می گذارند. من اطلاعات کافی در مورد نقش های اضافی ندارم.
6. حلقه های تصحیح مبتنی بر RAG: زنجیره تأیید
این رویکرد شامل ترکیب بازیابی و تأیید شخصی است که به مدل اجازه میدهد تا ادعاهای خود را در برابر منابع خارجی شواهد، عمدتاً در سیستمهای RAG، مورد سؤال قرار داده و مجدداً تأیید کند. عمدتاً توهمات ناشی از «اعتماد بیش از حد» را هدف قرار می دهد و سعی در کاهش آنها دارد.
“مرحله 1: ایجاد اولین پاسخ برای این سوال: “دیوار برلین چه زمانی سقوط کرد؟”
مرحله 2: بازیابی و خواندن قسمت های مرتبط از یک پایگاه داده تاریخی قابل اعتماد.
مرحله 3: شواهد بازیابی شده را با پاسخ خود مقایسه کنید.
مرحله چهارم: در صورت وجود مغایرت، پاسخ را تصحیح کنید و منبع بازیابی شده را ذکر کنید.
نمونه ای از پاسخ مورد انتظار:
«پاسخ اولیه: 1989.
شواهد بازیابی شده: سوابق تاریخی تایید می کنند که دیوار برلین در 9 نوامبر 1989 افتتاح شد.
پاسخ تایید شده نهایی: دیوار برلین در 9 نوامبر 1989 زمانی که برلین شرقی گذرگاه های مرزی را باز کرد فرو ریخت.
7. هشدارها، هشدارها و نرده های امنیتی مخصوص دامنه
در حوزههای کاربردی پرمخاطره مانند پزشکی، تعیین مرزهای دامنه محدود و نیاز به استناد منبع ضروری است تا خطر ادعاهای گمانهزنی که در عمل میتواند منجر به پیامدهای منفی شود، کاهش یابد. در اینجا یک نمونه از این موارد است:
“شما یک دستیار اطلاعات پزشکی تایید شده هستید. با استفاده از مطالعات بررسی شده یا دستورالعمل های رسمی منتشر شده قبل از سال 2024، درمان خط اول آسم پایدار متوسط را در بزرگسالان توضیح دهید. اگر نمی توانید به چنین دستورالعملی استناد کنید، پاسخ دهید: “من نمی توانم توصیه ای ارائه کنم. با یک متخصص بهداشت مشورت کنید.»
نمونه ای از پاسخ مورد انتظار:
طبق دستورالعمل های ابتکار جهانی آسم (GINA) در سال 2023، درمان خط اول برای آسم پایدار متوسط، یک کورتیکواستروئید استنشاقی با دوز پایین با یک آگونیست β2 طولانی اثر مانند بودزونید/فورموترول است. برای تنظیمات خاص بیمار، با پزشک مشورت کنید.
نتیجه گیری
در زیر خلاصه ای از 7 استراتژی که مورد بحث قرار گرفتیم آورده شده است.
| کارکرد | توضیحات |
|---|---|
| پاسخ های ممتنع و «نمی دانم» را تشویق کنید | اجازه دهید مدل بگوید “نمی دانم” و از حدس و گمان خودداری کنید. **بدون RAG**. |
| استدلال ساختاریافته و زنجیرهای از فکر | استدلال گام به گام برای بهبود سازگاری پاسخ ها. **بدون RAG**. |
| زمینه سازی با «مطابق» | از ارجاعات صریح برای تقویت پاسخ ها استفاده کنید. **بدون RAG**. |
| RAG با دستورالعمل و زمینه صریح | صریحاً از مدل بخواهید بر شواهد بازیابی شده تکیه کند. **پارچه**. |
| محدودیت های خروجی و دامنه محدود | قالب و طول پاسخ ها را محدود کنید تا تفصیل نظری را به حداقل برسانید و پاسخ ها را بیشتر تأیید کنید. **بدون RAG**. |
| حلقههای اصلاح مبتنی بر RAG: زنجیره تأیید | به مدل بگویید خروجی های خود را در برابر دانش بازیابی شده بررسی کند. **پارچه**. |
| اعلانها، هشدارها و حفاظهای مخصوص دامنه | درخواستها را با قوانین دامنه، الزامات دامنه، یا سلب مسئولیت در سناریوهای پرمخاطره محدود کنید. **بدون RAG**. |
این مقاله هفت نکته مهندسی سریع مفید را فهرست میکند که بر اساس مدلهای همه کاره برای سناریوهای متعدد است، که وقتی به سیستمهای LLM یا RAG داده میشوند، میتوانند به کاهش توهمات کمک کنند: یک مشکل رایج و گاهاً پایدار در این مدلهای کاملاً قدرتمند.
