همانطور که توسعه دهندگان و محققین مرزهای عملکرد LLM را تحت فشار قرار می دهند، سؤالاتی در مورد بهره وری بزرگ است. تا همین اواخر، تمرکز بر افزایش اندازه مدل‌ها و حجم داده‌های آموزشی بود، با توجه کمی به دقت عددی – تعداد بیت‌هایی که برای نمایش اعداد در طول محاسبات استفاده می‌شوند.
الف مطالعه اخیر از سوی محققان دانشگاه هاروارد، استنفورد و سایر موسسات این دیدگاه سنتی را تغییر داده است. یافته‌های آن‌ها نشان می‌دهد که دقت نقش بسیار مهم‌تری در بهینه‌سازی عملکرد مدل نسبت به آنچه قبلاً تأیید شده بود، بازی می‌کند. این افشاگری پیامدهای عمیقی برای آینده هوش مصنوعی دارد و بعد جدیدی را به قوانین مقیاس‌بندی که توسعه مدل را هدایت می‌کنند، معرفی می‌کند.
دقت در فوکوس
دقت عددی در هوش مصنوعی به سطح جزئیات مورد استفاده برای نمایش اعداد در طول محاسبات اشاره دارد که معمولاً در بیت اندازه گیری می شود. به عنوان مثال، دقت 16 بیتی اعداد را با جزئیات بیشتر از دقت 8 بیتی نشان می دهد، اما به قدرت محاسباتی بیشتری نیاز دارد. در حالی که این ممکن است یک تفاوت فنی به نظر برسد، اما دقت به طور مستقیم بر کارایی و عملکرد مدل‌های هوش مصنوعی تأثیر می‌گذارد.
تحقیق با عنوان قوانین مقیاس بندی برای دقت، به رابطه ای که اغلب نادیده گرفته می شود بین دقت و عملکرد مدل می پردازد. محققان با انجام یک سری گسترده از بیش از 465 دوره آموزشی، مدل هایی را با دقت های متفاوت، از 3 بیت تا 16 بیت، آزمایش کردند. این مدل‌ها که حاوی 1.7 میلیارد پارامتر بودند، بر روی 26 میلیارد توکن آموزش دیدند.
نتایج یک روند واضح را نشان داد: دقت فقط یک متغیر پس زمینه نیست. اساساً نحوه عملکرد مؤثر مدل ها را شکل می دهد. قابل‌توجه، مدل‌هایی که بیش از حد آموزش دیده بودند – آنهایی که بر روی داده‌های بسیار بیشتر از نسبت بهینه اندازه‌شان آموزش دیده‌اند – به‌ویژه در هنگام قرار گرفتن در معرض کاهش عملکرد حساس بودند. کوانتیزاسیون، فرآیندی که دقت پس از تمرین را کاهش می دهد. این حساسیت تعادل حیاتی مورد نیاز هنگام طراحی مدل‌ها برای برنامه‌های کاربردی دنیای واقعی را برجسته می‌کند.
قوانین مقیاس پذیری در حال ظهور
یکی از مشارکت‌های کلیدی این مطالعه، معرفی قوانین مقیاس‌بندی جدید است که دقت را در کنار متغیرهای سنتی مانند شمارش پارامتر و داده‌های آموزشی ترکیب می‌کند. این قوانین یک نقشه راه برای تعیین کارآمدترین راه برای تخصیص منابع محاسباتی در طول آموزش مدل ارائه می کنند.
محققان تشخیص دادند که محدوده دقت 7 تا 8 بیت به طور کلی برای مدل‌های مقیاس بزرگ بهینه است. این تعادل بین راندمان محاسباتی و عملکرد ایجاد می‌کند و روش رایج پیش‌فرض به دقت 16 بیت را به چالش می‌کشد، که اغلب منابع را هدر می‌دهد. برعکس، استفاده از بیت های بسیار کم – مانند دقت 4 بیتی – نیاز به افزایش نامتناسب در اندازه مدل برای حفظ عملکرد قابل مقایسه دارد.
این مطالعه همچنین بر استراتژی های وابسته به زمینه تاکید دارد. در حالی که 7 تا 8 بیت برای مدل‌های بزرگ و انعطاف‌پذیر مناسب هستند، مدل‌های با اندازه ثابت، مانند LLaMA 3.1، از سطوح دقت بالاتری بهره می‌برند، به‌ویژه زمانی که ظرفیت آن‌ها برای گنجاندن مجموعه داده‌های گسترده افزایش می‌یابد. این یافته‌ها گام مهمی به جلو هستند و درک دقیق‌تری از مبادلات مربوط به مقیاس‌بندی دقیق ارائه می‌دهند.
چالش ها و پیامدهای عملی
در حالی که این مطالعه شواهد قانع‌کننده‌ای برای اهمیت دقت در مقیاس‌بندی هوش مصنوعی ارائه می‌کند، کاربرد آن با موانع عملی مواجه است. یکی از محدودیت های حیاتی سازگاری سخت افزار است. صرفه جویی بالقوه ناشی از آموزش با دقت پایین فقط به اندازه توانایی سخت افزار برای پشتیبانی از آن است. پردازنده‌های گرافیکی و TPUهای مدرن برای دقت 16 بیتی با پشتیبانی محدود از محدوده 7 تا 8 بیتی کارآمدتر محاسباتی بهینه شده‌اند. تا زمانی که سخت‌افزار به آن برسد، مزایای این یافته‌ها ممکن است برای بسیاری از توسعه‌دهندگان دور از دسترس باقی بماند.
چالش دیگر در خطرات مرتبط با آموزش بیش از حد و کمی سازی نهفته است. همانطور که این مطالعه نشان می‌دهد، مدل‌هایی که بیش از حد آموزش دیده‌اند، به ویژه در برابر کاهش عملکرد در هنگام کوانتیزه شدن آسیب‌پذیر هستند. این یک معضل برای محققان ایجاد می کند: در حالی که داده های آموزشی گسترده به طور کلی یک مزیت است، می تواند اشتباهات را در مدل های با دقت پایین تشدید کند. دستیابی به تعادل مناسب نیاز به کالیبراسیون دقیق حجم داده، اندازه پارامتر و دقت دارد.
علی‌رغم این چالش‌ها، یافته‌ها فرصتی روشن برای اصلاح شیوه‌های توسعه هوش مصنوعی ارائه می‌دهد. با گنجاندن دقت به عنوان یک ملاحظات اصلی، محققان می توانند بودجه های محاسباتی را بهینه کنند و از استفاده بی رویه از منابع جلوگیری کنند و راه را برای سیستم های هوش مصنوعی پایدارتر و کارآمدتر هموار کنند.
آینده مقیاس‌بندی هوش مصنوعی
یافته های این مطالعه همچنین نشان دهنده یک تغییر گسترده تر در مسیر تحقیقات هوش مصنوعی است. برای سال‌ها، ذهنیت «بزرگ‌تر، بهتر» با تمرکز بر مدل‌ها و مجموعه داده‌های بزرگ‌تر، بر این حوزه تسلط داشت. اما از آنجایی که افزایش بهره وری از روش های کم دقت مانند آموزش 8 بیتی به محدودیت های خود نزدیک می شود، این دوره مقیاس بندی نامحدود ممکن است به پایان خود نزدیک شود.
تیم دتمرز، محقق هوش مصنوعی از دانشگاه کارنگی ملون، این مطالعه را نقطه عطفی می داند. او توضیح می دهد: «نتایج به وضوح نشان می دهد که ما به محدودیت های عملی کوانتیزه کردن رسیده ایم. دتمرز پیش‌بینی می‌کند که از مقیاس‌بندی همه‌منظوره به سمت رویکردهای هدفمندتر، مانند مدل‌های تخصصی طراحی‌شده برای کارهای خاص و برنامه‌های انسان محور که قابلیت استفاده و دسترسی را بر قدرت محاسباتی بی‌حساب اولویت می‌دهند، تغییر کند.
این محور با روندهای گسترده تری در هوش مصنوعی همسو می شود، جایی که ملاحظات اخلاقی و محدودیت های منابع به طور فزاینده ای بر اولویت های توسعه تأثیر می گذارد. همانطور که این زمینه بالغ می شود، تمرکز ممکن است به سمت ایجاد مدل هایی حرکت کند که نه تنها عملکرد خوبی داشته باشند، بلکه به طور یکپارچه در جریان کار انسان ادغام شوند و نیازهای دنیای واقعی را به طور موثر برطرف کنند.
خط پایین
ادغام دقت در قوانین مقیاس‌بندی فصل جدیدی در تحقیقات هوش مصنوعی است. این مطالعه با برجسته کردن نقش دقت عددی، مفروضات دیرینه را به چالش می‌کشد و دری را به روی شیوه‌های توسعه کارآمدتر و آگاهانه از منابع باز می‌کند.
در حالی که محدودیت های عملی مانند محدودیت های سخت افزاری باقی مانده است، یافته ها بینش های ارزشمندی را برای بهینه سازی آموزش مدل ارائه می دهند. با آشکار شدن محدودیت‌های کوانتیزه‌سازی با دقت پایین، زمینه برای تغییر پارادایم آماده می‌شود – از پیگیری بی‌وقفه مقیاس به رویکردی متعادل‌تر با تأکید بر کاربردهای تخصصی و انسان محور.
این مطالعه هم به عنوان یک راهنما و هم به عنوان یک چالش برای جامعه عمل می کند: نوآوری نه فقط برای عملکرد، بلکه برای کارایی، عملی بودن و تاثیرگذاری.
