مدل های بزرگ زبان (LLMS) به سرعت ضروری شده اند هوش مصنوعی (AI) ابزارها ، برنامه های کاربردی از Chatbots و ایجاد محتوا تا کمک به برنامه نویسی. با وجود قابلیت های چشمگیر آنها ، یک چالش مشترک که کاربران با آن روبرو هستند این است که این مدل ها گاهی اوقات بخش هایی از دستورالعمل های دریافت شده را می پرند ، به خصوص وقتی که این دستورالعمل ها طولانی باشد یا مراحل مختلفی را شامل می شود. این پرش منجر به خروجی های ناقص یا نادرست می شود ، که می تواند باعث سردرگمی و از بین بردن اعتماد به سیستم های AI شود. دانستن اینکه چرا LLMS از دستورالعمل ها و چگونگی رسیدگی به این مسئله برای کاربرانی که برای نتایج دقیق و قابل اعتماد به این مدل ها اعتماد می کنند ، ضروری است.
چرا LLMS دستورالعمل ها را رد می کند؟
LLM ها با خواندن متن ورودی به عنوان دنباله ای از نشانه ها کار می کنند. نشانه ها قطعات کوچکی هستند که متن به آن تقسیم می شود. مدل این نشانه ها را یکی پس از دیگری ، از ابتدا تا پایان پردازش می کند. این بدان معنی است که دستورالعمل ها در ابتدای ورودی تمایل به جلب توجه بیشتر دارند. دستورالعمل های بعدی ممکن است تمرکز کمتری داشته باشند و می توان نادیده گرفت.
این اتفاق می افتد زیرا LLM ها از ظرفیت توجه محدودی برخوردار هستند. توجه است که از مدل های مکانیسم استفاده می شود تا تصمیم بگیرند که قطعات ورودی هنگام تولید پاسخ ها ضروری هستند. وقتی ورودی کوتاه باشد ، توجه به خوبی کار می کند. اما با طولانی تر شدن ورودی یا دستورالعمل ها ، توجه کمتر می شود. این امر ضعف را روی قسمتهای بعدی متمرکز می کند و باعث پرش می شود.
علاوه بر این ، بسیاری از دستورالعمل ها به یکباره پیچیدگی را افزایش می دهند. هنگامی که دستورالعمل ها با هم همپوشانی یا درگیری دارند ، ممکن است مدل ها گیج شوند. آنها ممکن است سعی کنند به همه چیز پاسخ دهند اما پاسخ های مبهم یا متناقض ایجاد می کنند. این اغلب منجر به از دست دادن برخی دستورالعمل ها می شود.
LLMS همچنین برخی از محدودیت های شبیه به انسان را به اشتراک می گذارد. به عنوان مثال ، انسان هنگام خواندن متون طولانی یا تکراری می تواند تمرکز خود را از دست بدهد. به همین ترتیب ، LLM ها می توانند فراموش کردن دستورالعمل های بعدی به محض پردازش نشانه های بیشتر. این از دست دادن تمرکز بخشی از طراحی و محدودیت های مدل است.
دلیل دیگر نحوه آموزش LLMS است. آنها نمونه های بسیاری از دستورالعمل های ساده را مشاهده می کنند اما موارد پیچیده و پیچیده ای از چند مرحله ای. به همین دلیل ، مدل ها تمایل دارند که دستورالعمل های ساده تری را که در داده های آموزش آنها رایج تر است ، ترجیح دهند. این تعصب باعث می شود که آنها از دستورالعمل های پیچیده استفاده کنند. همچنین ، محدودیت های توکن میزان ورودی مدل را می تواند محدود کند. هنگامی که ورودی ها از این حد فراتر می روند ، دستورالعمل های فراتر از حد نادیده گرفته می شود.
مثال: فرض کنید شما یک دستورالعمل LLM را در یک فرایند واحد ارائه می دهید. این مدل ممکن است عمدتاً روی دو دستورالعمل اول متمرکز شود و سه مورد آخر را نادیده بگیرد. این مستقیماً بر نحوه پردازش مدل به صورت متوالی و محدودیت های توجه آن تأثیر می گذارد.
چگونه LLMS دستورالعمل های متوالی را بر اساس یافته های SIFO 2024 مدیریت می کند
مطالعات اخیر با دقت در مورد چگونگی پیروی از LLM ها از چندین دستورالعمل داده شده پس از دیگری پیروی کرده است. یک مطالعه مهم این است دستورالعمل های پی در پی زیر (SIFO) معیار 2024. این معیار مدل هایی را در مورد کارهایی که نیاز به تکمیل مرحله به مرحله دستورالعمل هایی مانند اصلاح متن ، پاسخ به سؤال ، ریاضیات و قاعده امنیتی دارند ، آزمایش می کند. هر دستورالعمل در دنباله بستگی به تکمیل صحیح آن قبل از آن دارد. این روش به بررسی اینکه آیا مدل کل دنباله را به درستی دنبال کرده است ، کمک می کند.
نتایج حاصل از SIFO نشان می دهد که حتی بهترین LLM ها ، مانند GPT-4 و CLAUDE-3 ، اغلب به پایان می رسد تمام دستورالعمل ها را به درستی تمام کنید. این امر به ویژه هنگامی که دستورالعمل ها طولانی یا پیچیده باشد صادق است. این تحقیق سه مشکل اصلی را نشان می دهد که LLM ها با دستورالعمل های زیر با آن روبرو هستند:
درک: درک کامل هر دستورالعمل.
استدلال: پیوند دادن چندین دستورالعمل به طور منطقی برای روشن نگه داشتن پاسخ.
خروجی قابل اعتماد: تولید پاسخ های کامل و دقیق ، تمام دستورالعمل های داده شده را پوشش می دهد.
تکنیک هایی مانند مهندسی سریع و تنظیم دقیق به بهبود چگونگی پیروی از مدلها از دستورالعمل ها کمک می کند. با این حال ، این روش ها به طور کامل به مشکل دستورالعمل ها کمک نمی کنند. با استفاده از یادگیری تقویت با بازخورد انسانی (RLHF) بیشتر توانایی مدل در پاسخ مناسب را بهبود می بخشد. با این حال ، مدل ها وقتی دستورالعمل ها به مراحل زیادی نیاز دارند یا بسیار پیچیده هستند ، مشکل دارند.
این مطالعه همچنین نشان می دهد که LLMS در هنگام ساده ، به وضوح از هم جدا و به خوبی سازمان یافته ، بهترین کار را می کنند. هنگامی که وظایف به زنجیره های استدلال طولانی یا مراحل زیادی نیاز دارند ، دقت مدل کاهش می یابد. این یافته ها به روشهای بهتری برای استفاده از LLM ها کمک می کند و نیاز به ساخت مدل های قوی تر را نشان می دهد که می توانند واقعاً دستورالعمل ها را یکی پس از دیگری دنبال کنند.
چرا LLMS دستورالعمل های پرش: چالش های فنی و ملاحظات عملی
LLMS ممکن است به دلیل چندین عامل فنی و عملی که ریشه در نحوه پردازش و رمزگذاری متن ورودی دارند ، از دستورالعمل ها استفاده کنند.
محدوده توجه محدود و رقیق کردن اطلاعات
LLMS به مکانیسم های توجه برای اختصاص اهمیت به قطعات ورودی مختلف. هنگامی که اعلان ها مختصر هستند ، توجه مدل متمرکز و مؤثر است. با این حال ، هرچه سریع تر یا بیشتر تکراری شود ، توجه رقیق می شود ، و بعداً نشانه ها یا دستورالعمل ها تمرکز کمتری می گیرند و احتمال نادیده گرفتن آنها را افزایش می دهند. این پدیده ، که به عنوان رقیق کننده اطلاعات شناخته می شود ، به ویژه برای دستورالعمل هایی که در اواخر سریع ظاهر می شوند ، مشکل ساز است. علاوه بر این ، مدل ها دارند محدودیت های ثابت ثابت (به عنوان مثال ، 2048 نشانه) ؛ هر متنی فراتر از این آستانه کوتاه و نادیده گرفته می شود و باعث می شود دستورالعمل ها در پایان کاملاً پرش شوند.
پیچیدگی و ابهام خروجی
LLMS می تواند در هنگام مواجهه با دستورالعمل های متعدد یا متناقض ، پاسخ های واضح و کاملی را انجام دهد. این مدل ممکن است برای جلوگیری از تضاد یا سردرگمی ، پاسخ های جزئی یا مبهم ایجاد کند ، و به طور مؤثر برخی از دستورالعمل ها را حذف کند. ابهام در نحوه بیان دستورالعمل ها نیز چالش هایی را ایجاد می کند: موارد نامشخص یا نامشخص تعیین اقدامات مورد نظر را برای مدل دشوار می کند ، خطر پرش یا تفسیر نادرست قسمت های ورودی را افزایش می دهد.
طراحی سریع و حساسیت قالب بندی
ساختار و بیان اعلان ها نیز نقش مهمی در پیروی از آموزش دارند. تحقیقات نشان می دهد که حتی تغییرات کوچک در نحوه نگارش یا قالب بندی دستورالعمل ها می تواند به طور قابل توجهی تأثیر بگذارد که آیا این مدل به آنها پایبند است.
اعلان های ساختاری ضعیف ، فاقد جدایی واضح ، نقاط گلوله یا شماره گذاری ، تمایز بین مدل ، افزایش احتمال ادغام یا حذف دستورالعمل ها را برای مدل سخت تر می کند. بازنمایی داخلی مدل از سریع به این تغییرات بسیار حساس است ، که توضیح می دهد که چرا مهندسی سریع (تنظیم مجدد یا بازسازی مجدد) می تواند به طور اساسی پایبندی دستورالعمل را بهبود بخشد ، حتی اگر محتوای اساسی یکسان باشد.
نحوه رفع دستورالعمل در LLMS
بهبود توانایی LLM ها در پیروی از دستورالعمل ها به طور دقیق برای تولید نتایج قابل اعتماد و دقیق ضروری است. بهترین روشهای زیر باید در نظر گرفته شود تا از دستورالعمل ها به حداقل برسد و کیفیت پاسخهای تولید شده AI را افزایش دهد:
وظایف باید به قسمتهای کوچکتر تقسیم شوند
سوابق طولانی یا چند مرحله ای باید به بخش های کوچکتر و متمرکز تر تقسیم شود. ارائه یک یا دو دستورالعمل در یک زمان به مدل اجازه می دهد تا توجه بهتری را حفظ کند و احتمال از دست دادن هر مرحله را کاهش می دهد.
نمونه
به جای ترکیب همه دستورالعمل ها در یک فوریت واحد ، مانند ، “متن را خلاصه کنید ، نکات اصلی را ذکر کنید ، پیشرفت ها را پیشنهاد کنید و آن را به فرانسوی ترجمه کنید، “هر دستورالعمل باید به طور جداگانه یا در گروه های کوچکتر ارائه شود.
دستورالعمل ها باید با استفاده از لیست های شماره گذاری شده یا نقاط گلوله فرمت شوند
سازماندهی دستورالعمل ها با قالب بندی صریح ، مانند لیست های شماره گذاری شده یا امتیاز گلوله ، به نشان دادن اینکه هر مورد یک کار فردی است کمک می کند. این وضوح احتمال اینکه پاسخ به تمام دستورالعمل ها پاسخ دهد ، افزایش می یابد.
نمونه
- متن زیر را خلاصه کنید.
- نکات اصلی را لیست کنید.
- پیشرفت ها را پیشنهاد کنید.
چنین قالب بندی نشانه های بصری را ارائه می دهد که به مدل در شناخت و جدا کردن وظایف مجزا در یک سریع کمک می کند.
دستورالعمل باید صریح و بدون ابهام باشد
ضروری است که دستورالعمل ها به وضوح نیاز به تکمیل هر مرحله را بیان کنند. باید از زبان مبهم یا مبهم جلوگیری شود. سریع باید صریحاً نشان دهد که هیچ اقدامی ممکن است از آن رد شود.
نمونه
“لطفاً هر سه کار را در زیر انجام دهید. پرش از هر مرحله قابل قبول نیست.”
اظهارات مستقیم مانند این باعث کاهش سردرگمی و تشویق مدل برای ارائه پاسخ های کامل می شود.
از اعلان های جداگانه باید برای کارهای پر یا مهم استفاده شود
هر دستورالعمل باید به عنوان یک درخواست فردی برای وظایفی که دقت و کامل بودن آن بسیار مهم است ارسال شود. اگرچه این رویکرد ممکن است زمان تعامل را افزایش دهد ، اما احتمال بدست آوردن خروجی های کامل و دقیق را به میزان قابل توجهی بهبود می بخشد. این روش تضمین می کند که مدل به طور همزمان بر روی یک کار متمرکز شده و خطر دستورالعمل های از دست رفته را کاهش می دهد.
استراتژی های پیشرفته برای تعادل کامل و کارآیی
انتظار برای پاسخ پس از هر دستورالعمل می تواند برای کاربران وقت گیر باشد. برای بهبود کارآیی ضمن حفظ وضوح و کاهش دستورالعمل های پرشور ، تکنیک های پیشرفته پیشرفته زیر ممکن است مؤثر باشد:
دستورالعمل های دسته ای با قالب بندی روشن و برچسب های صریح
دستورالعمل های مرتبط چندگانه را می توان در یک فرایند واحد ترکیب کرد ، اما هرکدام باید با استفاده از شماره گذاری یا عناوین از هم جدا شوند. سریع باید به مدل دستور دهد تا به کلیه دستورالعمل ها به طور کامل و به ترتیب پاسخ دهد.
مثال سریع
لطفاً تمام کارهای زیر را با دقت انجام دهید بدون اینکه از آن پرش کنید:
- متن زیر را خلاصه کنید.
- نکات اصلی را از خلاصه خود لیست کنید.
- پیشرفت ها را بر اساس نکات اصلی پیشنهاد دهید.
- متن بهبود یافته را به فرانسوی ترجمه کنید.
شیوه های سبک زنجیره ای
با فکر زنجیره ای ، باعث می شود قبل از ارائه پاسخ ، هر مرحله از کار را استدلال کند. تشویق مدل برای پردازش دستورالعمل های متوالی در یک پاسخ واحد ، به اطمینان حاصل می شود که هیچ اقدامی نادیده گرفته نمی شود و احتمال پرش از دستورالعمل ها و بهبود کامل را کاهش می دهد.
مثال سریع
متن زیر را بخوانید و کارهای زیر را به ترتیب انجام دهید. کار خود را به وضوح نشان دهید:
- متن را خلاصه کنید.
- نکات اصلی را از خلاصه خود مشخص کنید.
- پیشرفت در متن را پیشنهاد کنید.
- متن بهبود یافته را به فرانسوی ترجمه کنید.
لطفاً در یک پاسخ به همه کارها به طور کامل و جداگانه پاسخ دهید.
دستورالعمل ها و یادآوری های تکمیل را اضافه کنید
صریحاً مدل را به این موارد یادآوری کنید:
- “به هر کار کاملاً پاسخ دهید.”
- “هیچ دستورالعملی را رد نکنید.”
- “پاسخ های خود را به وضوح جدا کنید.”
چنین یادآوری ها در هنگام ترکیب چندین دستورالعمل به مدل بر روی کامل بودن کمک می کنند.
مدل های مختلف و تنظیمات پارامتر باید آزمایش شوند
همه LLM ها در پیروی از چندین دستورالعمل به طور مساوی عمل نمی کنند. توصیه می شود مدل های مختلفی را برای شناسایی مواردی که در کارهای چند مرحله ای برتری دارند ، ارزیابی کنید. علاوه بر این ، تنظیم پارامترهایی مانند دما ، حداکثر توکن ها و سوابق سیستم ممکن است بیشتر تمرکز و کامل بودن پاسخ ها را بهبود بخشد. آزمایش این تنظیمات به تنظیم رفتار مدل به نیازهای خاص کار کمک می کند.
مدل های تنظیم دقیق و استفاده از ابزارهای خارجی باید در نظر گرفته شود
مدل ها باید در مجموعه داده هایی که شامل دستورالعمل های چند مرحله ای یا پی در پی برای بهبود پایبندی آنها به اعلان های پیچیده هستند ، تنظیم شوند. تکنیک هایی مانند RLHF می تواند دستورالعمل های زیر را بیشتر کند.
برای موارد استفاده پیشرفته ، ادغام ابزارهای خارجی مانند API ، افزونه های خاص کار یا بازیابی نسل افزوده (RAG) سیستم ها ممکن است زمینه و کنترل اضافی را فراهم کنند ، در نتیجه قابلیت اطمینان و صحت خروجی ها را بهبود می بخشند.
خط پایین
LLM ها ابزارهای قدرتمندی هستند اما می توانند در صورت طولانی بودن یا پیچیده دستورالعمل ها از دستورالعمل ها استفاده کنند. این به دلیل نحوه خواندن ورودی و توجه آنها اتفاق می افتد. دستورالعمل ها برای نتایج بهتر و مطمئن تر باید واضح ، ساده و سازمان یافته باشند. شکستن وظایف در قسمت های کوچکتر ، استفاده از لیست ها و ارائه دستورالعمل های مستقیم به مدلهای کمک می کند تا مراحل را به طور کامل دنبال کنند.
اعلان های جداگانه می توانند دقت در کارهای مهم را بهبود بخشند ، اگرچه زمان بیشتری می گیرند. علاوه بر این ، روشهای پیشرفته سریع مانند زنجیره ای از فکر و قالب بندی واضح به سرعت و دقت تعادل کمک می کند. علاوه بر این ، آزمایش مدل های مختلف و تنظیم دقیق نیز می تواند نتایج را بهبود بخشد. این ایده ها به کاربران کمک می کند تا پاسخ های مداوم ، کامل را دریافت کنند و ابزارهای AI را در کار واقعی مفیدتر کنند.
