کیریل سولودسکیه، دکترا ، بنیانگذار و مدیرعامل TheStage AI و همچنین یک محقق و کارآفرین هوش مصنوعی فصلی با بیش از یک دهه تجربه در بهینه سازی شبکه های عصبی برای برنامه های تجاری در دنیای واقعی است. در سال 2024 ، او تأسیس کرد thestage ai، که 4.5 میلیون دلار بودجه برای خودکار سازی کامل شتاب شبکه عصبی در هر بستر سخت افزاری تأمین می کند.
پیش از این ، به عنوان رهبر تیمی در هواوی ، کیریل منجر به شتاب برنامه های دوربین AI برای Qualcomm NPU ها شد و به عملکرد تلفن های هوشمند P50 و P60 کمک کرد و برای نوآوری های خود چندین اختراع ثبت اختراع کرد. تحقیقات وی در کنفرانس های پیشرو مانند نمایش داده شده است CVPR وت ECCV ، جایی که جوایز و به رسمیت شناخته شده در سطح صنعت دریافت کرد. او همچنین میزبان یک است پادکست در بهینه سازی و استنباط هوش مصنوعی.
چه چیزی به شما الهام بخش است تا از AI AI ، و چگونه از آکادمی و تحقیقات به مقابله با بهینه سازی استنتاج به عنوان بنیانگذار استارتاپی منتقل شوید؟
بنیادهای آنچه که در نهایت Thestage AI با کار من در هواوی آغاز شد ، جایی که من در اعماق خودکار سازی استقرار و بهینه سازی شبکه های عصبی قرار گرفتم. این ابتکارات پایه و اساس برخی از نوآوری های پیشگامانه ما شد ، و این همان جایی است که من چالش واقعی را دیدم. آموزش یک مدل یک چیز است ، اما گرفتن آن برای اجرای کارآمد در دنیای واقعی و دسترسی به آن برای کاربران چیز دیگری است. استقرار تنگنا است که ایده های بسیار خوبی را از زندگی به دست می آورد. برای استفاده آسان به عنوان chatgpt ، بسیاری از چالش های پشتی در آن وجود دارد. از دیدگاه فنی ، بهینه سازی شبکه عصبی در مورد به حداقل رساندن پارامترها در حالی که عملکرد بالایی دارد ، به حداقل رساندن پارامترها است. این یک مشکل ریاضی سخت با فضای زیادی برای نوآوری است.
بهینه سازی استنتاج دستی مدتهاست که یک تنگنا در هوش مصنوعی بوده است. آیا می توانید توضیح دهید که چگونه Thestage AI این روند را خودکار می کند و چرا این یک تغییر دهنده بازی است؟
Thestage AI با یک تنگنا مهم در هوش مصنوعی مقابله می کند: فشرده سازی دستی و شتاب شبکه های عصبی. شبکه های عصبی میلیاردها پارامتر دارند و می دانند کدام یک از آنها برای عملکرد بهتر حذف می شوند با دست تقریباً غیرممکن است. آنا (آنالایزر خودکار شبکه های عصبی) این فرآیند را خودکار می کند ، و مشخص می کند که کدام لایه ها از بهینه سازی خارج می شوند ، مشابه نحوه خودکار سازی فشرده سازی زیپ.
این بازی را با سریع تر و مقرون به صرفه تر فرزندخواندگی تغییر می دهد. به جای تکیه بر فرآیندهای دستی گران قیمت ، استارتاپ ها می توانند مدل ها را بطور خودکار بهینه کنند. این فناوری دیدگاه روشنی از عملکرد و هزینه به مشاغل می دهد و از کارآیی و مقیاس پذیری بدون حدس اطمینان می دهد.
Thestage AI ادعا می کند که هزینه های استنباط را تا 5 برابر کاهش می دهد – چه چیزی باعث می شود فناوری بهینه سازی شما در مقایسه با روش های سنتی بسیار مؤثر باشد؟
Thestage AI هزینه های خروجی را تا 5 برابر با رویکرد بهینه سازی که فراتر از روشهای سنتی است ، کاهش می دهد. آنا به جای استفاده از الگوریتم مشابه در کل شبکه عصبی ، آن را به لایه های کوچکتر تقسیم می کند و تصمیم می گیرد که کدام الگوریتم برای هر قسمت برای ارائه فشرده سازی مورد نظر ضمن به حداکثر رساندن کیفیت مدل استفاده کند. با ترکیب اکتشافات ریاضی هوشمند با تقریبی کارآمد ، رویکرد ما بسیار مقیاس پذیر است و پذیرش هوش مصنوعی را برای مشاغل در هر اندازه آسان تر می کند. ما همچنین تنظیمات کامپایلر انعطاف پذیر را برای بهینه سازی شبکه ها برای سخت افزار خاص مانند آیفون ها یا GPU های NVIDIA ادغام می کنیم. این امر به ما کنترل بیشتری برای عملکرد خوب می دهد و سرعت را بدون از دست دادن کیفیت افزایش می دهد.
شتاب استنتاج Thestage AI چگونه با کامپایلر بومی Pytorch مقایسه می شود و چه مزایایی را به توسعه دهندگان AI ارائه می دهد؟
AIESTAGE AI خروجی بسیار فراتر از کامپایلر بومی Pytorch را تسریع می کند. Pytorch از یک روش تلفیقی “فقط به موقع” استفاده می کند ، که هر بار که اجرا می شود ، مدل را کامپایل می کند. این منجر به زمان های طولانی راه اندازی می شود ، گاهی اوقات دقیقه یا حتی بیشتر طول می کشد. در محیط های مقیاس پذیر ، این می تواند ناکارآمدی ایجاد کند ، به خصوص هنگامی که GPU های جدید برای تحمل بار کاربر افزایش یافته به صورت آنلاین آورده شوند و باعث تاخیری می شوند که بر تجربه کاربر تأثیر می گذارد.
در مقابل ، AESTAGE AI اجازه می دهد تا مدل ها از قبل ترکیب شوند ، بنابراین پس از آماده شدن یک مدل ، می توان فوراً مستقر شد. این منجر به سریع تر برنامه های سریعتر ، بهبود بهره وری خدمات و صرفه جویی در هزینه می شود. توسعه دهندگان می توانند مدل های هوش مصنوعی را سریعتر مستقر و مقیاس کنند ، بدون تنگناهای تدوین سنتی ، و آن را برای موارد استفاده پر تقاضا کارآمدتر و پاسخگوتر می کنند.
آیا می توانید در مورد ابزار QLIP Thestage AI و چگونگی افزایش عملکرد مدل ضمن حفظ کیفیت ، به اشتراک بگذارید؟
QLIP ، ابزار ابزار ASESTAGE AI ، یک کتابخانه پایتون است که مجموعه ای اساسی از ابتدایی را برای ساختن سریع الگوریتم های بهینه سازی جدید متناسب با سخت افزار مختلف مانند GPU و NPU فراهم می کند. جعبه ابزار شامل مؤلفه هایی مانند کمیت ، هرس ، مشخصات ، تدوین و خدمت است که همه برای توسعه سیستم های کارآمد و مقیاس پذیر AI بسیار مهم است.
آنچه QLIP را از هم جدا می کند ، انعطاف پذیری آن است. این امکان را به مهندسین هوش مصنوعی می دهد و الگوریتم های جدید را فقط با چند خط کد پیاده سازی می کنند. به عنوان مثال ، یک مقاله کنفرانس هوش مصنوعی اخیر در مورد شبکه های عصبی کمیت می تواند با استفاده از بدوی QLIP در دقیقه ها به یک الگوریتم کار تبدیل شود. این امر باعث می شود تا توسعه دهندگان بتوانند آخرین تحقیقات را در مدل های خود ادغام کنند بدون اینکه توسط چارچوب های سفت و سخت بازگردند.
بر خلاف چارچوب های سنتی منبع باز که شما را به مجموعه ثابت از الگوریتم ها محدود می کند ، QLIP به هر کسی امکان می دهد تکنیک های بهینه سازی جدیدی را اضافه کند. این سازگاری به تیم ها کمک می کند تا از چشم انداز AI که به سرعت در حال تحول هستند جلوتر بمانند و عملکرد را بهبود بخشند و ضمن اطمینان از انعطاف پذیری برای نوآوری های آینده.
شما در چارچوب های کمیت هوش مصنوعی مورد استفاده در دوربین های P50 و P60 هواوی کمک کرده اید. این تجربه چگونه رویکرد شما به بهینه سازی هوش مصنوعی را شکل داد؟
تجربه من کار در چارچوب های کمیت AI برای P50 و P60 هواوی ، بینش ارزشمندی را در مورد چگونگی ساده سازی و مقیاس بندی بهینه سازی به من داد. هنگامی که من برای اولین بار با Pytorch شروع کردم ، کار با نمودار اجرای کامل شبکه های عصبی سفت و سخت بود و الگوریتم های کمیت باید به صورت دستی ، لایه بر اساس لایه اجرا شوند. در هواوی ، چارچوبی ساختم که این روند را خودکار می کند. شما به سادگی مدل را وارد می کنید ، و این به طور خودکار کد را برای کمیت تولید می کند و کار دستی را از بین می برد.
این باعث شد که من متوجه شوم که اتوماسیون در بهینه سازی هوش مصنوعی در مورد فعال کردن سرعت بدون قربانی کردن کیفیت است. یکی از الگوریتم هایی که من توسعه دادم و ثبت اختراع کردم برای هواوی ضروری شد ، به ویژه هنگامی که آنها مجبور به انتقال از پردازنده های کیرین به کوالکام به دلیل تحریم ها شدند. این تیم به تیم اجازه می دهد تا شبکه های عصبی را به سرعت با معماری کوالکام بدون از دست دادن عملکرد یا صحت تطبیق دهند.
با ساده سازی و خودکار کردن روند ، زمان توسعه را از بیش از یک سال به چند ماه کاهش می دهیم. این تأثیر زیادی بر محصولی که توسط میلیون ها نفر استفاده شده است و رویکرد من برای بهینه سازی را شکل داده و با تمرکز بر سرعت ، کارآیی و حداقل از دست دادن کیفیت شکل می گیرد. این طرز فکر امروز به آنا می آیم.
تحقیقات شما در CVPR و ECCV به نمایش در آمده است – برخی از پیشرفت های مهم در کارآیی هوش مصنوعی که بیشتر به آنها افتخار می کنید چیست؟
وقتی از دستاوردهای من در کارآیی هوش مصنوعی سؤال می شود ، همیشه به مقاله خود فکر می کنم که برای ارائه شفاهی در CVPR 2023 انتخاب شده است. انتخاب برای ارائه شفاهی در چنین کنفرانسی نادر است ، زیرا فقط 12 مقاله انتخاب شده است. این به این واقعیت می افزاید: هوش مصنوعی تولیدی به طور معمول بر کانون توجه حاکم است و مقاله ما با تمرکز بر سمت ریاضی ، به ویژه تجزیه و تحلیل و فشرده سازی شبکه های عصبی ، رویکرد متفاوتی را در پیش گرفت.
ما روشی را توسعه دادیم که به ما کمک کرد تا درک کنیم که چند پارامتر یک شبکه عصبی واقعاً برای کارآمد کار می کند. با استفاده از تکنیک های تجزیه و تحلیل عملکردی و انتقال از یک گسسته به یک فرمولاسیون مداوم ، ما قادر به دستیابی به نتایج فشرده سازی خوبی بودیم در حالی که توانایی ادغام این تغییرات را در مدل حفظ می کنیم. این مقاله همچنین چندین الگوریتم جدید را معرفی کرده است که توسط جامعه مورد استفاده قرار نگرفته و کاربرد بیشتری پیدا کرده است.
این یکی از اولین مقاله های من در زمینه هوش مصنوعی بود و مهمتر از همه ، این نتیجه تلاش جمعی تیم ما از جمله بنیانگذاران من بود. این یک نقطه عطف مهم برای همه ما بود.
آیا می توانید توضیح دهید که چگونه شبکه های عصبی یکپارچه (Inns) کار می کنند و چرا آنها یک نوآوری مهم در یادگیری عمیق هستند؟
شبکه های عصبی سنتی از ماتریس های ثابت ، مشابه جداول اکسل استفاده می کنند ، جایی که اندازه و پارامترها از پیش تعیین شده اند. با این حال ، مسافرخانه ها شبکه ها را به عنوان کارکردهای مداوم توصیف می کنند و انعطاف پذیری بسیار بیشتری را ارائه می دهند. مانند پتو با پین در ارتفاعات مختلف به آن فکر کنید ، و این نشان دهنده موج مداوم است.
آنچه مسافرخانه را هیجان انگیز می کند ، توانایی آنها در “فشرده سازی” یا “گسترش” بر اساس منابع موجود است ، مشابه نحوه دیجیتالی شدن یک سیگنال آنالوگ به صدا. شما می توانید شبکه را بدون قربانی کردن کیفیت ، کوچک کنید و در صورت لزوم ، آن را بدون آموزش دوباره گسترش دهید.
ما این را آزمایش کردیم ، و در حالی که روش های فشرده سازی سنتی منجر به از بین رفتن کیفیت قابل توجهی می شود ، مسافرخانه ها حتی با فشرده سازی شدید ، کیفیت نزدیک به اصلی را حفظ می کنند. ریاضیات در پشت آن برای جامعه هوش مصنوعی غیر متعارف تر است ، اما ارزش واقعی در توانایی آن در ارائه نتایج جامد و عملی با حداقل تلاش نهفته است.
AIESTAGE AI روی الگوریتم های بازپرداخت کوانتومی کار کرده است – چگونه می بینید که محاسبات کوانتومی در آینده نزدیک نقش در بهینه سازی هوش مصنوعی را ایفا می کند؟
وقتی صحبت از محاسبات کوانتومی و نقش آن در بهینه سازی هوش مصنوعی می شود ، مهمترین چیز این است که سیستم های کوانتومی یک رویکرد کاملاً متفاوت برای حل مشکلات مانند بهینه سازی ارائه می دهند. در حالی که ما الگوریتم های بازپخت کوانتومی را از ابتدا اختراع نکردیم ، شرکت هایی مانند D-Wave کتابخانه های پایتون را برای ساخت الگوریتم های کوانتومی به طور خاص برای کارهای بهینه سازی گسسته ، که برای رایانه های کوانتومی ایده آل هستند ، فراهم می کنند.
ایده در اینجا این است که ما مستقیماً یک شبکه عصبی را در یک رایانه کوانتومی بارگیری نمی کنیم. این با معماری فعلی امکان پذیر نیست. درعوض ، ما نحوه رفتار شبکه های عصبی تحت انواع مختلف تخریب را تقریب می دهیم ، و آنها را در سیستمی قرار می دهیم که یک تراشه کوانتومی می تواند پردازش کند.
در آینده ، سیستم های کوانتومی می توانند شبکه ها را با دقت که سیستم های سنتی برای مطابقت با آنها تلاش می کنند ، مقیاس و بهینه کنند. مزیت سیستم های کوانتومی در موازی سازی داخلی آنها نهفته است ، چیزی که سیستم های کلاسیک فقط با استفاده از منابع اضافی می توانند شبیه سازی کنند. این بدان معنی است که محاسبات کوانتومی می تواند به طور قابل توجهی روند بهینه سازی را سرعت بخشد ، به خصوص که می دانیم چگونه می توان شبکه های بزرگتر و پیچیده تری را به طور مؤثر مدل کرد.
پتانسیل واقعی در استفاده از محاسبات کوانتومی برای حل وظایف گسترده و بهینه سازی پیچیده و تجزیه پارامترها در گروه های کوچکتر و قابل کنترل تر است. با استفاده از فناوری هایی مانند Quantum و Computing نوری ، امکانات گسترده ای برای بهینه سازی هوش مصنوعی وجود دارد که فراتر از آنچه محاسبات سنتی می تواند ارائه دهد.
دید طولانی مدت شما برای AISTAGE AI چیست؟ در 5-10 سال آینده عنوان بهینه سازی استنباط را از کجا می بینید؟
در دراز مدت ، Thestage AI قصد دارد به یک قطب مدل جهانی تبدیل شود که در آن هر کسی به راحتی می تواند با ویژگی های مورد نظر ، چه برای تلفن هوشمند یا هر دستگاه دیگر ، به یک شبکه عصبی بهینه شده دسترسی پیدا کند. هدف این است که یک تجربه کشیدن و رها کردن را ارائه دهید ، جایی که کاربران پارامترهای خود را وارد می کنند و سیستم به طور خودکار شبکه را تولید می کند. اگر شبکه از قبل وجود نداشته باشد ، به طور خودکار با استفاده از آنا ایجاد می شود.
هدف ما این است که شبکه های عصبی مستقیماً روی دستگاه های کاربر اجرا شوند و هزینه ها را 20 تا 30 بار کاهش دهیم. در آینده ، این تقریباً می تواند هزینه ها را به طور کامل از بین ببرد ، زیرا دستگاه کاربر به جای تکیه بر سرورهای ابری ، محاسبات را کنترل می کند. این ، همراه با پیشرفت در فشرده سازی مدل و شتاب سخت افزاری ، می تواند استقرار AI را به طور قابل توجهی کارآمدتر کند.
ما همچنین قصد داریم فناوری خود را با راه حل های سخت افزاری مانند سنسورها ، تراشه ها و روباتیک برای برنامه های کاربردی در زمینه هایی مانند رانندگی خودمختار و روباتیک ادغام کنیم. به عنوان مثال ، ما هدف ما ساختن دوربین های هوش مصنوعی هستند که قادر به کار در هر محیطی ، چه در فضا و چه در شرایط شدید مانند تاریکی یا گرد و غبار هستند. این امر باعث می شود هوش مصنوعی در طیف گسترده ای از برنامه ها قابل استفاده باشد و به ما امکان ایجاد راه حل های سفارشی برای سخت افزار خاص و موارد استفاده را می دهد.
با تشکر از شما برای مصاحبه عالی ، خوانندگانی که مایل به کسب اطلاعات بیشتر هستند باید بازدید کنند thestage aiبشر
