جیسون نایت یکی از بنیانگذاران و معاون یادگیری ماشین است OctoAI، این پلتفرم یک پشته کامل را برای سازندگان برنامه ارائه می دهد تا برنامه های هوش مصنوعی خود را در فضای ابری یا درون محل اجرا، تنظیم و مقیاس بندی کنند.
OctoAI توسط خالقان اصلی Apache TVM، یک پشته منبع باز برای قابلیت حمل و کارایی ML، از دانشگاه واشنگتن خارج شد. TVM مدل‌های ML را قادر می‌سازد تا به طور موثر بر روی هر پشتیبان سخت‌افزاری اجرا شوند و به سرعت به بخش کلیدی معماری دستگاه‌های مصرف‌کننده محبوب مانند آمازون الکسا تبدیل شده است.
آیا می‌توانید الهام‌بخش تأسیس OctoAI و مشکل اصلی را که قصد حل آن را داشتید، به اشتراک بگذارید؟
هوش مصنوعی به طور سنتی یک زمینه پیچیده است که فقط برای کسانی که با ریاضیات و محاسبات با کارایی بالا مورد نیاز برای ساختن چیزی با آن راحت هستند، قابل دسترسی است. اما هوش مصنوعی رابط های محاسباتی نهایی، متن، صدا و تصاویر برنامه ریزی شده با مثال ها و بازخوردها را باز می کند و قدرت کامل محاسبات را برای همه افراد روی زمین به ارمغان می آورد. قبل از هوش مصنوعی، فقط برنامه نویسان می توانستند با نوشتن متون زبان برنامه نویسی مخفیانه، رایانه ها را وادار به انجام آنچه می خواستند کنند.
OctoAI برای تسریع مسیر ما به این واقعیت ایجاد شده است تا افراد بیشتری بتوانند از هوش مصنوعی استفاده کنند و از آن بهره ببرند. و مردم نیز به نوبه خود می توانند از هوش مصنوعی برای ایجاد مزایای بیشتر با تسریع در علوم، پزشکی، هنر و موارد دیگر استفاده کنند.
با تأمل در تجربه خود در اینتل، نقش‌های قبلی‌تان چگونه شما را برای تأسیس و رهبری توسعه در OctoAI آماده کرد؟
اینتل و استارت‌آپ‌های سخت‌افزاری و بیوتکنولوژی هوش مصنوعی قبل از اینکه به من این دیدگاه را بدهد که ببینم هوش مصنوعی حتی برای پیچیده‌ترین شرکت‌های فناوری چقدر سخت است و در عین حال برای کسانی که نحوه استفاده از آن را فهمیده‌اند چقدر می‌تواند ارزشمند باشد. و با دیدن اینکه شکاف بین کسانی که از هوش مصنوعی بهره می برند در مقایسه با کسانی که هنوز از هوش مصنوعی بهره مند نیستند، در درجه اول یکی از زیرساخت ها، محاسبات، و بهترین شیوه ها است – نه جادو.
چه چیزی OctoStack را از سایر راه حل های استقرار هوش مصنوعی موجود در بازار امروز متمایز می کند؟
OctoStack اولین پشته فناوری کامل صنعت است که به طور خاص برای ارائه مدل های هوش مصنوعی در هر مکانی طراحی شده است. این یک پلت فرم تولید کلید در دست ارائه می دهد که استنتاج بسیار بهینه، سفارشی سازی مدل و مدیریت دارایی را در مقیاس سازمانی ارائه می دهد.
OctoStack به سازمان ها اجازه می دهد تا با اجرای هر مدلی در محیط دلخواه خود با کنترل کامل بر داده ها، مدل ها و سخت افزار، به استقلال هوش مصنوعی دست یابند. همچنین عملکرد و کارایی هزینه بی‌نظیری را با صرفه‌جویی تا 12 برابر در مقایسه با راه‌حل‌های دیگر مانند GPT-4 ارائه می‌کند.
آیا می توانید مزایای استقرار مدل های هوش مصنوعی در یک محیط خصوصی با استفاده از OctoStack را توضیح دهید؟
مدل‌ها این روزها همه‌جانبه هستند، اما مونتاژ زیرساخت مناسب برای اجرای آن مدل‌ها و اعمال آنها با داده‌های خود جایی است که چرخ لنگر با ارزش تجاری واقعاً شروع به چرخش می‌کند. استفاده از این مدل‌ها روی حساس‌ترین داده‌هایتان، و سپس تبدیل آن به بینش، مهندسی سریع‌تر، خطوط لوله RAG و تنظیم دقیق، جایی است که می‌توانید بیشترین بهره را از هوش مصنوعی مولد ببرید. اما هنوز برای همه به جز پیچیده ترین شرکت ها انجام این کار به تنهایی دشوار است، جایی که یک راه حل کلید در دست مانند OctoStack می تواند شما را تسریع کند و بهترین روش ها را در یک مکان برای پزشکان شما گرد هم آورد.
استقرار مدل‌های هوش مصنوعی در یک محیط خصوصی با استفاده از OctoStack چندین مزیت از جمله امنیت و کنترل بیشتر بر داده‌ها و مدل‌ها را ارائه می‌دهد. مشتریان می‌توانند برنامه‌های هوش مصنوعی تولیدی را در VPC یا در محل خود اجرا کنند و اطمینان حاصل کنند که داده‌هایشان امن و در محیط‌های انتخابی‌شان باقی می‌ماند. این رویکرد همچنین به کسب‌وکارها انعطاف‌پذیری را برای اجرای هر مدلی اعم از منبع باز، سفارشی یا اختصاصی ارائه می‌کند و در عین حال از کاهش هزینه و بهبود عملکرد بهره می‌برد.
در بهینه‌سازی OctoStack برای پشتیبانی از طیف گسترده‌ای از سخت‌افزار با چه چالش‌هایی مواجه شدید و چگونه بر این چالش‌ها غلبه کردید؟
بهینه‌سازی OctoStack برای پشتیبانی از طیف گسترده‌ای از سخت‌افزار شامل تضمین سازگاری و عملکرد در دستگاه‌های مختلف، مانند پردازنده‌های گرافیکی NVIDIA و AMD و AWS Inferentia است. OctoAI با استفاده از تخصص عمیق سیستم‌های هوش مصنوعی خود که طی سال‌ها تحقیق و توسعه توسعه یافته بود، بر این چالش‌ها غلبه کرد تا پلتفرمی ایجاد کند که به‌طور مداوم انواع سخت‌افزار، موارد استفاده GenAI و بهترین شیوه‌ها را به‌روزرسانی و پشتیبانی می‌کند. این به OctoAI اجازه می دهد تا عملکرد پیشرو در بازار و کارایی هزینه را ارائه دهد.
علاوه بر این، دریافت آخرین قابلیت‌ها در هوش مصنوعی مولد، مانند چند وجهی، فراخوانی عملکرد، پیروی از طرح سخت JSON، میزبانی دقیق کارآمد، و موارد دیگر در دست توسعه‌دهندگان داخلی، نقطه جهش هوش مصنوعی شما را تسریع می‌کند.
OctoAI سابقه غنی در استفاده از Apache TVM دارد. این چارچوب چگونه بر قابلیت‌های پلتفرم شما تأثیر گذاشته است؟
ما Apache TVM را ایجاد کردیم تا توسعه دهندگان پیشرفته بتوانند کتابخانه های هوش مصنوعی کارآمد را برای پردازنده های گرافیکی و شتاب دهنده ها آسان تر بنویسند. ما این کار را انجام دادیم زیرا دریافت بیشترین عملکرد از پردازنده گرافیکی و سخت‌افزار شتاب‌دهنده برای استنباط هوش مصنوعی در آن زمان مانند اکنون بسیار مهم بود.
از آن زمان، ما از همان طرز فکر و تخصص برای کل مجموعه خدمات هوش مصنوعی ژنرال برای ارائه اتوماسیون برای مجموعه گسترده‌تری از توسعه‌دهندگان استفاده کرده‌ایم.
آیا می توانید در مورد بهبود عملکرد قابل توجهی که OctoStack ارائه می دهد، مانند افزایش عملکرد 10 برابری در استقرار در مقیاس بزرگ صحبت کنید؟
OctoStack بهبود عملکرد قابل توجهی را ارائه می دهد، از جمله تا 12 برابر صرفه جویی در مقایسه با مدل های دیگر مانند GPT-4 بدون کاهش سرعت یا کیفیت. همچنین بهره برداری 4 برابری بهتر از GPU و کاهش 50 درصدی هزینه های عملیاتی را فراهم می کند و سازمان ها را قادر می سازد تا استقرارهای بزرگ را به طور کارآمد و مقرون به صرفه اجرا کنند.
آیا می توانید موارد استفاده قابل توجهی را که OctoStack به طور قابل توجهی استقرار هوش مصنوعی را برای مشتریان شما بهبود بخشیده است، به اشتراک بگذارید؟
یک مورد قابل توجه استفاده Apate.ai است، یک سرویس جهانی برای مبارزه با کلاهبرداری های تلفنی با استفاده از هوش مصنوعی مکالمه مولد. Apate.ai از OctoStack برای اجرای کارآمد مجموعه مدل‌های زبانی خود در مناطق مختلف جغرافیایی استفاده کرد و از انعطاف‌پذیری، مقیاس و امنیت OctoStack بهره برد. این استقرار به Apate.ai اجازه می‌دهد تا مدل‌های سفارشی را ارائه دهد که از چندین زبان و گویش‌های منطقه‌ای پشتیبانی می‌کنند و عملکرد و الزامات حساس امنیتی آنها را برآورده می‌کنند.
علاوه بر این، ما صدها تنظیم دقیق را برای OpenPipe مشتری خود ارائه می دهیم. اگر آنها نمونه‌های اختصاصی را برای هر یک از این موارد بسازند، موارد استفاده مشتریانشان غیرممکن خواهد بود، زیرا آنها رشد می‌کنند و موارد استفاده خود را تکامل می‌دهند و به طور مداوم تنظیمات دقیق پارامترهای کارآمد خود را برای حداکثر کیفیت خروجی با قیمت‌های مقرون‌به‌صرفه آموزش می‌دهند.
با تشکر از شما برای مصاحبه عالی، خوانندگانی که مایل به کسب اطلاعات بیشتر هستند باید از آن بازدید کنند OctoAI.
