طبق گزارش یونسکوممکن است تا سال 2100 بیش از نیمی از زبان ها منقرض شوند. بسیاری از مردم می گویند که هوش مصنوعی مولد به این فرآیند کمک می کند.
کاهش تنوع زبان با هوش مصنوعی یا اینترنت آغاز نشد. اما هوش مصنوعی است در موقعیتی برای تسریع نابودی زبان های بومی و کم منابع.
بیشتر 7000 زبان دنیا منابع کافی برای آموزش مدل‌های هوش مصنوعی ندارند و بسیاری از آنها فاقد فرم نوشتاری هستند. این به این معنی است که چند زبان اصلی بر انبار داده‌های آموزشی هوش مصنوعی بشریت تسلط دارند، در حالی که بیشتر آنها در انقلاب هوش مصنوعی رها شده‌اند – و ممکن است به طور کامل ناپدید شوند.
دلیل ساده این است که بیشتر داده‌های آموزشی هوش مصنوعی به زبان انگلیسی است. انگلیسی محرک اصلی مدل‌های زبان بزرگ (LLM) است و افرادی که به زبان‌های کمتر رایج صحبت می‌کنند، در فناوری هوش مصنوعی کمتر حضور دارند.
در نظر بگیرید این آمار از مجمع جهانی اقتصاد:
- دو سوم تمام وب سایت ها به زبان انگلیسی هستند.
- بسیاری از داده هایی که GenAI از آنها می آموزد از وب خراشیده شده است.
- کمتر از 20 درصد از جمعیت جهان انگلیسی صحبت می کنند.
همانطور که هوش مصنوعی در زندگی روزمره ما بیشتر می شود، همه ما باید به برابری زبان فکر کنیم. هوش مصنوعی پتانسیل بی‌سابقه‌ای برای حل مشکلات در مقیاس دارد و وعده آن نباید به دنیای انگلیسی‌زبان محدود شود. هوش مصنوعی در حال ایجاد امکانات و ابزارهایی است که زندگی شخصی و حرفه ای افراد را برای مردم کشورهای توسعه یافته و ثروتمند بهبود می بخشد.
گویندگان زبان‌های کم‌منبع به کمبود بازنمایی در فن‌آوری عادت کرده‌اند – از پیدا نکردن وب‌سایت‌ها به زبانشان تا عدم شناسایی لهجه‌شان توسط سیری. بسیاری از متن که است موجود برای آموزش هوش مصنوعی به زبان‌های با منابع پایین‌تر، کیفیت پایینی دارد (با دقت مشکوک ترجمه شده است) و دامنه محدودی دارد.
چگونه جامعه می تواند تضمین کند که زبان های با منابع پایین تر از معادله هوش مصنوعی حذف نمی شوند؟ چگونه می توانیم اطمینان حاصل کنیم که زبان مانعی برای وعده هوش مصنوعی نیست؟
در تلاشی برای فراگیری زبان، برخی از بازیگران اصلی فناوری ابتکاراتی برای آموزش مدل‌های زبان چندزبانه بزرگ (MLM) دارند. به عنوان مثال، مایکروسافت ترنسلیت متعهد شده است که از “هر زبان، در همه جا” پشتیبانی کند. و متا یک وعده “هیچ زبانی باقی نمی ماند” دارد. اینها قابل ستایش هستند، اما آیا واقع بینانه هستند؟
مشتاق به سمت یک مدل که هر زبانی را در جهان مدیریت کند به نفع افراد ممتاز است زیرا حجم بسیار بیشتری از داده ها از زبان های اصلی جهان وجود دارد. هنگامی که ما شروع به کار با زبان‌های کم‌منبع و زبان‌هایی با خط‌های غیر لاتین می‌کنیم، آموزش مدل‌های هوش مصنوعی سخت‌تر، زمان‌برتر و گران‌تر می‌شود. آن را به عنوان یک مالیات ناخواسته بر زبان هایی که کمتر معرفی شده اند در نظر بگیرید.
پیشرفت در فناوری گفتار
مدل‌های هوش مصنوعی عمدتاً روی متن آموزش داده می‌شوند، که طبیعتاً زبان‌هایی را که ذخیره‌های عمیق‌تری از محتوای متن دارند، ترجیح می‌دهد. تنوع زبان با سیستم هایی که به متن وابسته نیستند بهتر پشتیبانی می شود. تعامل انسانی در یک زمان همه مبتنی بر گفتار بود، و بسیاری از فرهنگ ها این تمرکز شفاهی را حفظ می کنند. برای پاسخگویی بهتر به مخاطبان جهانی، صنعت هوش مصنوعی باید از داده های متنی به داده های گفتاری پیشرفت کند.
تحقیقات پیشرفت های زیادی در فناوری گفتار دارد، اما همچنان از فناوری های مبتنی بر متن عقب است. تحقیقات در زمینه پردازش گفتار در حال پیشرفت است، اما فناوری گفتار به گفتار مستقیم هنوز به بلوغ رسیده است. واقعیت این است که صنعت تمایل دارد با احتیاط حرکت کند و تنها زمانی که یک فناوری به سطح معینی پیشرفت کند.
پلتفرم تفسیر زنده GlobalLink TransPerfect که به تازگی منتشر شده است، دوباره از اشکال بالغ‌تر فناوری گفتار – تشخیص خودکار گفتار (ASR) و متن به گفتار (TTS) – استفاده می‌کند، زیرا سیستم‌های گفتار به گفتار مستقیم در این مرحله به اندازه کافی بالغ نیستند. . همانطور که گفته شد، تیم های تحقیقاتی ما در حال آماده شدن برای روزی هستند که خطوط لوله کاملاً گفتار به گفتار برای زمان اصلی آماده شوند.
گفتار به گفتار مدل های ترجمه نوید بزرگی در حفظ زبان های شفاهی می دهد. در سال 2022، متا اولین سیستم ترجمه گفتار به گفتار مبتنی بر هوش مصنوعی را برای هوکین، یک زبان عمدتا شفاهی که حدود 46 میلیون نفر در دیاسپورای چینی به آن صحبت می‌کنند، معرفی کرد. این بخشی از پروژه Universal Speech Translator متا است که در حال توسعه مدل‌های جدید هوش مصنوعی است که امیدوار است بتواند ترجمه گفتار به گفتار در زمان واقعی را در بسیاری از زبان‌ها فعال کند. متا مدل‌های ترجمه هوکین، مجموعه داده‌های ارزیابی و مقالات تحقیقاتی خود را به صورت متن‌باز انتخاب کرد تا دیگران بتوانند کار خود را بازتولید کرده و بر اساس آن کار کنند.
یادگیری با کمتر
این واقعیت که ما به عنوان یک جامعه جهانی فاقد منابع پیرامون برخی زبان ها هستیم، حکم اعدام برای آن زبان ها نیست. اینجاست که مدل‌های چند زبانه مزیتی دارند، زیرا زبان‌ها از یکدیگر یاد می‌گیرند. همه زبان ها از الگوهایی پیروی می کنند. به دلیل انتقال دانش بین زبان ها، نیاز به داده های آموزشی کمتر می شود.
فرض کنید مدلی دارید که در حال یادگیری 90 زبان است و می‌خواهید اینویت (گروهی از زبان‌های بومی آمریکای شمالی) را اضافه کنید. به دلیل انتقال دانش، به داده های Inuit کمتری نیاز خواهید داشت. ما در حال یافتن راه هایی برای یادگیری با کمتر هستیم. مقدار داده مورد نیاز برای تنظیم دقیق موتورها کمتر است.
من به آینده ای با هوش مصنوعی فراگیرتر امیدوار هستم. من فکر نمی‌کنم که محکوم به ناپدید شدن انبوهی از زبان‌ها باشیم، و فکر نمی‌کنم هوش مصنوعی همچنان در قلمرو دنیای انگلیسی‌زبان باقی بماند. در حال حاضر، ما شاهد آگاهی بیشتر در مورد مسئله برابری زبان هستیم. از مجموعه داده‌های متنوع‌تر گرفته تا ساخت مدل‌های خاص زبان، ما در حال پیشرفت هستیم.
زبان Fon را در نظر بگیرید، زبانی که حدود 4 میلیون نفر در بنین و کشورهای همسایه آفریقا صحبت می کنند. چندی پیش، یک مدل محبوب هوش مصنوعی، فون را به عنوان یک زبان تخیلی توصیف کرد. یک دانشمند کامپیوتر به نام Bonaventure Dosseau، که مادرش Fon صحبت می کند، به این نوع محرومیت عادت داشت. دوسو که فرانسوی صحبت می کند، بدون برنامه ترجمه بزرگ شد که به او در برقراری ارتباط با مادرش کمک کند. امروز، او می تواند با مادرش به لطف یک مترجم فون-فرانسوی که با زحمت ساخته است، ارتباط برقرار کند. امروزه یک ویکی پدیا فون نوپا نیز وجود دارد.
در تلاش برای استفاده از فناوری برای حفظ زبان‌ها، هنرمند ترک، Refik Anadol، ایجاد یک ابزار AI منبع باز برای مردم بومی را آغاز کرده است. در اجلاس جهانی اقتصاد، او پرسید: “چگونه می توانیم هوش مصنوعی ایجاد کنیم که کل بشریت را نشناسد؟”
ما نمی توانیم و نمی توانیم.
