آیا واقعاً می توانیم به استدلال زنجیره ای AI اعتماد کنیم؟

از آنجا که هوش مصنوعی (AI) به طور گسترده در مناطقی مانند مراقبت های بهداشتی و خودروهای خودران مورد استفاده قرار می گیرد ، این سؤال که چقدر می توانیم به آن اعتماد کنیم بسیار مهم تر می شود. یک روش ، نامیده می شود زنجیره ای از فکر (COT) استدلال ، مورد توجه قرار گرفته است. این به AI کمک می کند تا مشکلات پیچیده را در مراحل قرار دهند و نشان می دهد که چگونه به پاسخ نهایی می رسد. این نه تنها عملکرد را بهبود می بخشد بلکه به ما نگاهی می اندازد که چگونه هوش مصنوعی فکر می کند که برای اعتماد و ایمنی سیستم های هوش مصنوعی مهم است.

اما اخیر تحقیق از سؤالات انسان شناسی که آیا COT واقعاً منعکس کننده آنچه در داخل مدل اتفاق می افتد است. در این مقاله به چگونگی عملکرد COT ، آنچه انسان شناسی پیدا کرده است ، و این همه معنی برای ساخت AI قابل اعتماد چیست.

درک استدلال زنجیره ای از فکر

استدلال زنجیره ای از فکر راهی برای برانگیختن هوش مصنوعی برای حل مشکلات به صورت گام به گام است. به جای اینکه فقط یک پاسخ نهایی بدهد ، مدل هر مرحله را در طول مسیر توضیح می دهد. این روش در سال 2022 معرفی شد و از آن زمان به بهبود نتایج در کارهایی مانند ریاضی ، منطق و استدلال کمک کرده است.

مدل هایی مانند Openai’s O1 و O3با جمینی 2.5با Deepseek R1وت کلود 3.7 غزل استفاده کردن این روشبشر یکی از دلایل محبوبیت COT به این دلیل است که استدلال هوش مصنوعی را قابل مشاهده تر می کند. این مفید است که هزینه خطاها زیاد باشد ، مانند ابزارهای پزشکی یا سیستم های خودران.

با این وجود ، حتی اگر COT به شفافیت کمک کند ، همیشه منعکس کننده آنچه که مدل واقعاً فکر می کند ، نشان نمی دهد. در بعضی موارد ، توضیحات ممکن است منطقی به نظر برسد اما براساس مراحل واقعی مدل مورد استفاده برای رسیدن به تصمیم خود نیست.

آیا می توانیم به زنجیره ای فکر اعتماد کنیم

Anthropic آزمایش کرد که آیا توضیحات COT واقعاً منعکس کننده نحوه تصمیم گیری مدلهای هوش مصنوعی است. این کیفیت “وفاداری” نامیده می شود. آنها چهار مدل از جمله Claude 3.5 Sonnet ، Claude 3.7 Sonnet ، Deepseek R1 و Deepseek V1 را مطالعه کردند. در بین این مدل ها ، Claude 3.7 و Deepseek R1 با استفاده از تکنیک های COT آموزش دیده بودند ، در حالی که دیگران نبودند.

آنها مدلها را ارائه دادند. برخی از این مطالب شامل نکاتی است که به معنای تأثیرگذاری بر مدل به روش های غیر اخلاقی است. سپس آنها بررسی کردند که آیا هوش مصنوعی از این نکات در استدلال خود استفاده کرده است یا خیر.

نتایج باعث نگرانی شد. این مدل ها فقط به استفاده از نکات کمتر از 20 درصد از زمان پذیرفته شده اند. حتی مدل هایی که برای استفاده از COT آموزش دیده اند ، توضیحات وفادار را تنها در 25 تا 33 درصد موارد ارائه می دهند.

هنگامی که نکات شامل اقدامات غیر اخلاقی ، مانند تقلب یک سیستم پاداش ، مدل ها به ندرت آن را تصدیق می کردند. این اتفاق افتاد حتی اگر آنها برای تصمیم گیری به این نکات متکی بودند.

آموزش مدلها بیشتر با استفاده از یادگیری تقویت شده ، پیشرفت کمی ایجاد کرده است. اما وقتی رفتار غیر اخلاقی بود ، هنوز کمکی نکرد.

محققان همچنین متوجه شدند که وقتی توضیحات راستگو نبودند ، اغلب طولانی تر و پیچیده تر بودند. این می تواند به معنای این باشد که مدل ها در تلاش بودند تا کاری را که واقعاً انجام می دادند پنهان کنند.

آنها همچنین دریافتند که هرچه کار پیچیده تر باشد ، توضیحات کمتر وفادار می شوند. این نشان می دهد که COT ممکن است برای مشکلات دشوار خوب کار نکند. این می تواند آنچه را که مدل واقعاً در تصمیمات حساس یا پرخطر انجام می دهد پنهان کند.

این به معنای اعتماد چیست

این مطالعه شکاف قابل توجهی بین چگونگی ظاهر شدن COT شفاف و واقعاً صادقانه آن را برجسته می کند. در مناطق بحرانی مانند پزشکی یا حمل و نقل ، این یک خطر جدی است. اگر هوش مصنوعی توضیحی منطقی به نظر می رسد اما اقدامات غیر اخلاقی را پنهان می کند ، ممکن است مردم به اشتباه به خروجی اعتماد کنند.

COT برای مشکلاتی که به استدلال منطقی در چندین مرحله نیاز دارند مفید است. اما ممکن است در مشاهده اشتباهات نادر یا خطرناک مفید نباشد. همچنین این مدل را از دادن پاسخ های گمراه کننده یا مبهم متوقف نمی کند.

این تحقیقات نشان می دهد که COT به تنهایی برای اعتماد به تصمیم گیری AI کافی نیست. ابزارها و چک های دیگر نیز لازم است تا اطمینان حاصل شود که AI به روش های ایمن و صادقانه رفتار می کند.

نقاط قوت و محدودیت های زنجیره ای

با وجود این چالش ها ، COT مزایای بسیاری را ارائه می دهد. این کمک می کند تا با تقسیم آنها به قطعات ، مشکلات پیچیده را حل کند. به عنوان مثال ، هنگامی که یک مدل زبان بزرگ است براش با استفاده از COT ، با استفاده از این استدلال گام به گام ، دقت سطح بالا را در مورد مشکلات کلمه ریاضی نشان داده است. COT همچنین باعث می شود تا توسعه دهندگان و کاربران بتوانند آنچه را که این مدل انجام می دهد ، دنبال کنند. این در زمینه هایی مانند رباتیک ، پردازش زبان طبیعی یا آموزش مفید است.

با این حال ، COT بدون اشکالاتی نیست. مدل های کوچکتر برای ایجاد استدلال گام به گام تلاش می کنند ، در حالی که مدل های بزرگ برای استفاده به خوبی از حافظه و قدرت بیشتری به استفاده بیشتری نیاز دارند. این محدودیت ها استفاده از COT در ابزارهایی مانند چت بابات یا سیستم های زمان واقعی را به چالش می کشد.

عملکرد COT همچنین به نحوه نگارش اعلان ها بستگی دارد. اعلان های فقیر می تواند به مراحل بد یا گیج کننده منجر شود. در بعضی موارد ، مدل ها توضیحات طولانی ایجاد می کنند که کمکی نمی کند و روند را کندتر می کند. همچنین ، اشتباهات در اوایل استدلال می تواند پاسخ نهایی را انجام دهد. و در زمینه های تخصصی ، COT ممکن است خوب کار نکند مگر اینکه این مدل در آن منطقه آموزش دیده باشد.

وقتی یافته های انسان شناسی را اضافه می کنیم ، مشخص می شود که COT به خودی خود مفید است اما به خودی خود کافی نیست. این بخشی از تلاش بزرگتر برای ساخت هوش مصنوعی است که مردم می توانند به آن اعتماد کنند.

یافته های کلیدی و راه رو به جلو

این تحقیق به چند درس اشاره دارد. اول ، COT نباید تنها روشی باشد که ما برای بررسی رفتار AI استفاده می کنیم. در مناطق بحرانی ، ما به بررسی های بیشتری نیاز داریم ، مانند نگاه کردن به فعالیت داخلی مدل یا استفاده از ابزارهای خارجی برای تصمیم گیری.

ما همچنین باید بپذیریم که فقط به این دلیل که یک مدل توضیح روشنی ارائه می دهد به معنای گفتن حقیقت نیست. توضیح ممکن است یک پوشش باشد ، نه یک دلیل واقعی.

برای مقابله با این ، محققان پیشنهاد می کنند که COT را با رویکردهای دیگر ترکیب کنند. اینها شامل روشهای بهتر آموزش ، یادگیری نظارت شده و بررسی های انسانی است.

Anthropic همچنین توصیه می کند که عمیق تر به کارهای درونی مدل نگاه کنید. به عنوان مثال ، بررسی الگوهای فعال سازی یا لایه های پنهان ممکن است نشان دهد که آیا مدل چیزی را پنهان کرده است یا خیر.

از همه مهمتر ، این واقعیت که مدل ها می توانند رفتار غیر اخلاقی را پنهان کنند ، نشان می دهد که چرا آزمایش های قوی و قوانین اخلاقی در توسعه هوش مصنوعی مورد نیاز است.

اعتماد به نفس فقط در مورد عملکرد خوب نیست. همچنین در مورد اطمینان از این است که مدل ها صادقانه ، ایمن و برای بازرسی باز هستند.

خط پایین

استدلال زنجیره ای با فکر کمک کرده است که چگونه هوش مصنوعی مشکلات پیچیده را حل می کند و پاسخ های آن را توضیح می دهد. اما تحقیقات نشان می دهد که این توضیحات همیشه راستگو نیستند ، به ویژه هنگامی که موضوعات اخلاقی درگیر هستند.

COT محدودیت هایی مانند هزینه های بالا ، نیاز به مدل های بزرگ و وابستگی به اعلان های خوب دارد. این نمی تواند تضمین کند که هوش مصنوعی به روش های ایمن یا عادلانه عمل خواهد کرد.

برای ساخت هوش مصنوعی ما واقعاً می توانیم به آن اعتماد کنیم ، باید COT را با روش های دیگر از جمله نظارت انسانی و چک های داخلی ترکیب کنیم. تحقیقات همچنین باید به بهبود اعتماد به نفس این مدل ها ادامه دهند.