بررسی سیستم جدید یادگیری عمیق IBM

کمپانی IBM طی هفته‌ی گذشته از روش جدیدی پرده برداشت که قرار است به‌طور قابل توجهی بتواند زمان یادگیری را برای سیستم‌های یادگیری توزیع‌شده یا DDL کاهش دهد. این تکنیک با استفاده از شمار زیادی سخت‌افزار قوی می‌تواند به انجام این وظیفه کمک کند. طرز کار روش جدید برپایه‌ی بهینه‌سازی تبادل داده‌ میان اجزای سخت‌افزاری بنا می‌شود که یک شبکه‌ی عصبی عمیق روی آن در حال اجرا شدن است.

موضوع اصلی که آی‌بی‌ام در فرایند جدید خود قصد مقابله با آن و حلش را داشته، مربوط به مقاطع کندکننده‌ای است که در شبکه‌بندی سیستم‌های یادگیری توزیع‌شده وجود دارند. در حالی که گسترش دادن بارگذاری‌های محاسباتی برای تمرین دادن یک شبکه‌ی عصبی عمیق روی بسیاری کامپیوترها وجود دارد؛ باید توجه کنیم که بازده این فرایندها در حالت متدوال رفته‌رفته کمتر می‌شود و دلیل آن هم مربوط به اتصال‌های با تاخیر بالایی است که میان سخت‌افزارهای انجام‌دهنده‌ی محاسبات در دنیای واقعی وجود دارد.

یک کتابخانه‌ی ارتباطی جدید با عنوان PowerAI DDL در ارتباط با یک مقاله‌ی پژوهشی تشریحی به‌تازگی منتشر شده است. هدف از انتشار چنین سیستمی تقویت بازده با حصول اطمینان از این نکته است که آیا تمامی سیستم‌های در حال کار در یک پروسه، از تمامی ظرفیت اتصالات با عملکرد بالای خودشان بهره می‌برند یا خیر.

کمپانی آی‌بی‌ام با استفاده از کتابخانه‌ی PowerAI DDL توانسته است تا شبکه‌ی عصبی محبوب Resnet-50 را روی مجموعه‌ی داده‌ی ImageNet در مدت زمان ۵۰ دقیقه تمرین دهد. این کار با استفاده از ۶۴ سرور انجام شده است و هر یک از این سرورها دارای چهار واحد پردازش گرافیکی بوده‌اند.

کمپانی‌هایی با سخت‌افزار کافی واقعا می‌توانند از ظرفیت‌های PowerAI DDL بهره ببرند و شاهد تقویت‌های چشمگیری باشند که در عملکرد آنها ایجاد می‌شود و اصلی‌ترین آن نیز مربوط به مدت زمانی می‌شود که دانشمندان این کمپانی‌ها برای ران کردن فرایندهای مشخص صرف می‌کنند. طبیعتا اگر آزمایش‌ها سریع‌تر ران شوند، دانشمندان خواهند توانست تا شمار بیشتری از آزمایش‌ها را انجام دهند و این موضوع در ادامه باعث حصول نتایج بهتر خواهد شد.

کتابخانه‌ی ارتباطی آی‌بی‌ام به‌عنوان بخشی از بسته‌ی نرم‌افزاری PowerAI منتشر شده است و به دانشمندان فعال در حوزه‌ی داده و همینطور به مهندسان این زمینه امکان می‌دهد که وظایف مربوط به یادگیری ماشین را روی سرورهای بسیار قوی این غول دنیای فناوری انجام دهند. سرورهایی که با عنوان سرورهای پاور سیستمز شناخته می‌شوند.

این کمپانی برای آزمایش روند اخیر از ۶۴ سرور از نوع Power8 S822LC استفاده کرده است که هر کدام از این سیستم‌ها به‌صورت پیشفرض با چهار واحد پردازش گرافیکی انویدیا از مدل Tesla P100-SXM2 ارائه می‌شوند.

 این سخت‌افزارها در نگاه نخست بسیار گران به نظر می‌رسند؛ ولی برای سازمان‌هایی که دارای پول و سرمایه‌ی کافی در زمینه‌ی پژوهشی هستند و نیاز به انجام محاسبات با عملکرد بالا در زمینه‌ی هوش مصنوعی دارند، چنین هزینه‌هایی گران تلقی نمی‌شود.

منتشر کردن این فناوری از طریق بسته‌ی نرم‌افزاری PowerAI می‌تواند کار را برای افرادی ساده‌تر کند که قصد بهره‌ بردن از پژوهش‌های آی‌بی‌ام را دارند؛ زیرا این مجموعه با بخش نرم‌فزاری موجود برای ران شدن روی سخت‌افزارهای Power Systems هم‌پارچه شده است.

با این وجود، مزایای سیستم جدید IBM بهایی نیز دارد؛ آنها سیستم جدید را تنها برای سخت‌افزارهای اختصاصی خودشان ارائه کرده‌اند و از طرفی هم این سیستم‌ و کدهای آن را نمی‌توانیم در ردیف سیستم‌های منبع باز قرار دهیم.

چنین رویکردی با سیستم شبکه‌ی عصبی توزیع‌شده‌ای که کمپانی فیسبوک به‌تازگی معرفی کرده، در تضاد است. این غول شبکه‌‌های اجتماعی کدهای سیستم خود را به‌صورت منبع باز در دسترس قرار داده بود.

البته باید اشاره کنیم که کمپانی IBM هم با ارائه‌ی پروژه‌های منبع باز در زمینه‌ی یادگیری عمیق میانه‌ی بدی ندارد و آنها صرفا در پروژه‌ی اخیرشان تصمیم داشته‌اند که این کار را نکنند.

با وجود تفاوت‌هایی که در روند توزیع وجود دارد، می‌توان گفت که هر دوی آن مقالات پژوهشی، دارای دستاوردهای پیشتازانه‌ای در زمینه‌ی پژوهش‌های یادگیری عمیق هستند. کارهای انجام‌شده از سوی هر دو کمپانی نشان می‌دهد که ما مسیر زیادی را در زمینه‌ی تقویت سیستم‌های یادگیری ماشینی پیش رو داریم. دستاوردهای این روند پرشتاب همچنین می‌تواند در زمینه‌های دیگر هم کاربرد داشته باشد و به این ترتیب روی زندگی انسان‌ها تاثیر بیشتری بگذارد.

یکی از نکات حایز اهمیت در بحث فوق این است که با وجود مفید بود تمرین‌ Resent به‌عنوان یک بنچ‌مارک در هر دوی این پژوهش‌ها، هنوز مشخص نیست که نتایج به‌دست آمده تا چه حدی قابل انتقال به سایر برنامه‌ها و کاربردها نیز باشند. در حالی که به نظر می‌آید روش‌های واقع در پس مقاله‌ی IBM می‌بایست مزایای عملکردی بیشتری را به همراه خود ارائه دهد، اما نباید فراموش کنیم که کمپانی به‌طور رسمی هنوز تست‌های لازم برای سایر کاربردها را انجام نداده است.

منبع: زومیت