پردازش موازی چیست؟ تعریف، انواع و مثال ها

پردازش موازی یک تکنیک محاسباتی است که در آن چندین جریان از محاسبات یا وظایف پردازش داده از طریق واحدهای پردازش مرکزی متعدد (CPU) که به طور همزمان کار می کنند، اتفاق می افتد. این مقاله نحوه عملکرد پردازش موازی و نمونه هایی از کاربرد آن در موارد استفاده در دنیای واقعی را توضیح می دهد.

پردازش موازی از دو یا چند پردازنده یا CPU به طور همزمان برای مدیریت اجزای مختلف یک فعالیت واحد استفاده می کند. سیستم‌ها می‌توانند زمان اجرای یک برنامه را با تقسیم بسیاری از بخش‌های یک کار بین چندین پردازنده کاهش دهند. پردازنده‌های چند هسته‌ای که اغلب در رایانه‌های مدرن یافت می‌شوند و هر سیستمی با بیش از یک CPU قادر به انجام پردازش موازی هستند.

برای بهبود سرعت، مصرف انرژی کمتر و مدیریت موثرتر چندین فعالیت، پردازنده‌های چند هسته‌ای تراشه‌های مدار مجتمع (IC) با دو یا چند CPU هستند. اکثر کامپیوترها می توانند دو تا چهار هسته داشته باشند، در حالی که بقیه می توانند تا دوازده هسته داشته باشند. عملیات و محاسبات پیچیده اغلب در پردازش موازی تکمیل می شوند.

در اساسی ترین سطح، نحوه استفاده از ثبات ها بین عملیات موازی و سریال تمایز قائل می شود. ثبات های Shift به صورت سریالی عمل می کنند و هر بیت را یک به یک پردازش می کنند، در حالی که ثبات ها با بارگذاری موازی هر بیت از کلمه را به طور همزمان پردازش می کنند. مدیریت پردازش موازی در سطح بالاتری از پیچیدگی با استفاده از انواع واحدهای عملکردی که فعالیت های یکسان یا متفاوت را به طور همزمان انجام می دهند، امکان پذیر است.

علاقه به محاسبات موازی در اواخر دهه ۱۹۵۰ شروع شد و پیشرفت ها در ابررایانه ها در دهه ۱۹۶۰ و ۱۹۷۰ ظاهر شد. این چند پردازنده ها از فضای حافظه مشترک استفاده می کردند و عملیات موازی را روی یک مجموعه داده واحد انجام می دادند. هنگامی که پروژه محاسبات همزمان Caltech با استفاده از ۶۴ پردازنده اینتل ۸۰۸۶/۸۰۸۷ در اواسط دهه ۱۹۸۰ یک ابر رایانه برای کاربردهای علمی ساخت، نوع جدیدی از محاسبات موازی معرفی شد.

این سیستم نشان داد که می توان با ریزپردازنده های موجود در بازار عمومی به عملکرد بالایی دست یافت. از آنجایی که کامپیوتر ابرکامپیوتر ASCI Red در سال ۱۹۹۷ آستانه یک تریلیون عملیات ممیز شناور در ثانیه را شکست، این پردازنده‌های موازی (MPP) ظاهر شدند تا بر بخش بالایی محاسبات تسلط داشته باشند. MPP ها از آن زمان به لحاظ تعداد و نفوذ گسترش یافته اند.

خوشه ها در اواخر دهه ۱۹۸۰ وارد بازار شدند و جایگزین MPP ها برای بسیاری از کاربردها شدند. خوشه یک کامپیوتر موازی است که از کامپیوترهای تجاری متعددی تشکیل شده است که توسط یک شبکه تجاری به هم مرتبط شده اند. خوشه‌ها موتور محاسبات علمی امروزی هستند و بر مراکز داده‌ای که عصر اطلاعات مدرن را هدایت می‌کنند، تسلط دارند. بر اساس پردازنده های چند هسته ای، محاسبات موازی به طور فزاینده ای محبوب می شود.

پردازش موازی امکان استفاده از رایانه‌های رومیزی و لپ‌تاپ معمولی را برای حل مشکلاتی که قبلاً به یک ابر رایانه قدرتمند و کمک مدیران متخصص شبکه و مرکز داده نیاز داشت، ممکن می‌سازد. تا اواسط دهه ۱۹۹۰، رایانه های ساخته شده برای مصرف کنندگان فقط می توانستند داده ها را یک به یک پردازش کنند. امروزه اکثر سیستم عامل ها نحوه عملکرد پردازنده های مختلف را کنترل می کنند. این باعث می شود که پردازش موازی در بیشتر موارد مقرون به صرفه تر از پردازش سریال باشد.

محاسبات موازی با افزایش سنسورهای اینترنت اشیا (IoT) حیاتی می شود و نقاط پایانی به داده های زمان واقعی نیاز دارند. با توجه به اینکه امروزه دریافت پردازنده ها و GPU ها (واحدهای پردازش گرافیکی) از طریق سرویس های ابری چقدر آسان است، پردازش موازی بخشی حیاتی از هر میکروسرویس است.

پردازش موازی چگونه کار می کند؟

به طور کلی، پردازش موازی به تقسیم یک کار بین حداقل دو ریزپردازنده اشاره دارد. ایده بسیار ساده است: یک دانشمند کامپیوتر از نرم افزار تخصصی ایجاد شده برای این کار استفاده می کند تا یک مشکل پیچیده را به اجزای آن تجزیه کند. سپس برای هر قسمت یک پردازنده خاص تعیین می کنند. برای تکمیل کل مشکل محاسباتی، هر پردازنده بخش خود را تکمیل می کند. نرم افزار داده ها را دوباره جمع می کند تا چالش اولیه پیچیده را حل کند.

هنگامی که پردازش به صورت موازی انجام می شود، یک کار بزرگ به چندین کار کوچکتر تقسیم می شود که با تعداد، اندازه و نوع واحدهای پردازش موجود مناسب تر است. پس از تقسیم کار، هر پردازنده در قسمت خود بدون صحبت با سایرین شروع به کار می کند. در عوض، آنها از نرم افزار استفاده می کنند تا با یکدیگر در ارتباط باشند و از نحوه انجام وظایف خود مطلع شوند.

پس از پردازش تمام قسمت های برنامه، نتیجه یک بخش برنامه کاملاً پردازش شده است. این درست است چه تعداد پردازنده ها و وظایف و پردازنده ها برابر باشد و همه آنها به طور همزمان یا یکی پس از دیگری تمام شوند.

دو نوع فرآیند موازی وجود دارد: دانه ریز و دانه درشت. وظایف چندین بار در ثانیه در موازی سازی دقیق با یکدیگر ارتباط برقرار می کنند تا نتایج را در زمان واقعی یا بسیار نزدیک به زمان واقعی ارائه دهند. سرعت کندتر فرآیندهای موازی درشت دانه ناشی از ارتباط نادر آنهاست.

یک سیستم پردازش موازی می تواند داده ها را به طور همزمان پردازش کند تا وظایف را با سرعت بیشتری انجام دهد. به عنوان مثال، سیستم می تواند دستورالعمل بعدی را از حافظه دریافت کند، زیرا دستورالعمل فعلی توسط واحد حسابی-منطقی CPU (ALU) پردازش می شود. هدف اصلی پردازش موازی، افزایش قدرت پردازش کامپیوتر و افزایش توان عملیاتی یا افزایش حجم کاری است که می‌توان در یک زمان معین انجام داد. می توان از بسیاری از واحدهای عملکردی برای ایجاد یک سیستم پردازش موازی با انجام فعالیت های مشابه یا غیرمشابه به طور همزمان استفاده کرد.

این روش پیچیده‌تری برای گفتن این است که تقسیم کار کارها را آسان‌تر می‌کند. همچنان می‌توانید بار را بین پردازنده‌های مختلف در یک رایانه تقسیم کنید، یا می‌توانید آن را بین رایانه‌های مختلف متصل به یک شبکه رایانه تقسیم کنید. کاربران می توانند یک هدف را به چندین روش انجام دهند.

یک دانشمند کامپیوتر معمولاً از یک ابزار نرم افزاری استفاده می کند تا یک کار پیچیده را به قسمت های کوچکتر تقسیم کند و هر قسمت را به یک پردازنده اختصاص دهد. سپس هر پردازنده بخش خود را حل می کند و داده ها توسط یک ابزار نرم افزاری برای خواندن پاسخ یا انجام عملیات دوباره کنار هم قرار می گیرند.

هر CPU معمولاً هنگام خواندن داده ها از حافظه رایانه، طبق دستور عمل می کند و وظایف موازی را انجام می دهد. پردازنده ها همچنین از نرم افزار برای برقراری ارتباط و پیگیری تغییرات در مقادیر داده ها استفاده خواهند کرد. پس از انجام یک کار، نرم افزار تمام قطعات داده را با هم قرار می دهد، با این فرض که همه پردازنده ها هماهنگ هستند. اگر کامپیوترها برای تشکیل یک خوشه به شبکه متصل شده باشند، می توان از آنهایی که چندین پردازنده ندارند برای محاسبات موازی استفاده کرد.

انواع پردازش موازی

انواع مختلفی از پردازش های موازی مانند MMP، SIMD، MISD، SISD و MIMD وجود دارد که احتمالاً SIMD محبوب ترین است. داده‌های چندگانه تک دستورالعمل یا SIMD، یک نوع پردازش موازی است که در آن یک رایانه دارای دو یا چند پردازنده است که همه از یک مجموعه دستورالعمل پیروی می‌کنند اما انواع داده‌های متمایز را مدیریت می‌کنند. حال اجازه دهید نگاهی به انواع مختلف پردازش موازی و نحوه کار آنها بیندازیم:

1. دستورالعمل واحد، داده واحد (SISD)
   در نوع محاسباتی که Single Instruction، Single Data (SISD) نامیده می شود، یک پردازنده واحد وظیفه مدیریت همزمان یک الگوریتم واحد را به عنوان یک منبع داده واحد دارد. یک سازمان کامپیوتری دارای یک واحد کنترل، یک واحد پردازش و یک واحد حافظه با SISD نشان داده می شود. شبیه کامپیوتر سریال فعلی است. دستورالعمل ها به صورت متوالی توسط SISD انجام می شود که بسته به پیکربندی آن ممکن است قادر به پردازش موازی باشد یا نباشد.

دستورالعمل‌هایی که به‌طور متوالی انجام می‌شوند ممکن است در طول مراحل اجرای خود از هم عبور کنند. ممکن است بیش از یک واحد کاربردی در یک کامپیوتر SISD وجود داشته باشد. با این حال، یک واحد کنترل مسئول تمام واحدهای عملکردی است. چنین سیستم هایی امکان پردازش خط لوله یا استفاده از واحدهای عملکردی متعدد را برای دستیابی به پردازش موازی فراهم می کنند.

2. دستورالعمل چندگانه، تک داده (MISD)
   پردازنده‌های چندگانه در رایانه‌هایی که از مجموعه دستورالعمل‌های Multiple Instruction, Single Data (MISD) استفاده می‌کنند، استاندارد هستند. در حالی که از چندین الگوریتم استفاده می شود، همه پردازنده ها داده های ورودی یکسانی را به اشتراک می گذارند. کامپیوترهای MISD می‌توانند به طور همزمان چندین عملیات را روی یک دسته از داده‌ها انجام دهند. همانطور که انتظار می رود، تعداد عملیات تحت تاثیر تعداد پردازنده های موجود است.

ساختار MISD از واحدهای پردازش بسیاری تشکیل شده است که هر یک تحت دستورالعمل های خود و بر روی یک جریان داده قابل مقایسه عمل می کنند. خروجی یک پردازنده به ورودی پردازنده زیر تبدیل می شود. اولین فعالیت این سازمان توجه کمی به خود جلب کرد و در معماری استفاده نشد.

3. یک دستورالعمل، چند داده (SIMD)
   کامپیوترهایی که از معماری Single Instruction, Multiple Data (SIMD) استفاده می کنند دارای چندین پردازنده هستند که دستورالعمل های یکسانی را انجام می دهند. با این حال، هر پردازنده دستورالعمل ها را با مجموعه منحصر به فرد خود از داده ها ارائه می کند. کامپیوترهای SIMD الگوریتم یکسانی را برای چندین مجموعه داده اعمال می کنند. معماری SIMD دارای اجزای پردازشی متعددی است.

همه این اجزا تحت نظارت یک واحد کنترل قرار می گیرند. در حین پردازش تعداد زیادی از داده ها، هر پردازنده دستورالعمل یکسانی را از واحد کنترل دریافت می کند. چندین ماژول موجود در زیرسیستم مشترک به برقراری ارتباط همزمان با هر CPU کمک می کند. این بیشتر به سازمان هایی که از حالت های bit-slice و word-slice استفاده می کنند، جدا می شود.

4. دستورالعمل های چندگانه، داده های چندگانه (MIMD)
   رایانه‌های چند دستورالعمل، داده‌های چندگانه یا MIMD با وجود پردازنده‌های متعدد مشخص می‌شوند که هر کدام به طور مستقل می‌توانند جریان دستورالعمل خود را بپذیرند. این نوع کامپیوترها دارای پردازنده های زیادی هستند. علاوه بر این، هر CPU داده ها را از یک جریان داده متفاوت می کشد. یک کامپیوتر MIMD قادر است چندین کار را به طور همزمان اجرا کند.

اگرچه رایانه‌های MIMD نسبت به رایانه‌های SIMD یا MIMD سازگارتر هستند، توسعه الگوریتم‌های پیچیده‌ای که این ماشین‌ها را نیرو می‌دهند، چالش‌برانگیزتر است. از آنجایی که تمام جریان های حافظه از ناحیه داده های مشترک منتقل شده توسط همه پردازنده ها تغییر می کند، یک سازمان کامپیوتری MIMD تعاملات بین چند پردازنده را ترکیب می کند.

عملیات SISD چندگانه معادل مجموعه ای از سیستم های SISD جداگانه است در صورتی که تعداد زیادی جریان داده از حافظه های مشترک مختلف حاصل شود.

5. برنامه واحد، داده های چندگانه (SPMD)
   سیستم‌های SPMD که مخفف عبارت Single Program, Multiple Data هستند، زیرمجموعه‌ای از MIMD هستند. اگرچه یک کامپیوتر SPMD مشابه MIMD ساخته شده است، هر یک از پردازنده های آن مسئول اجرای دستورالعمل های یکسان هستند. SPMD یک برنامه نویسی برای ارسال پیام است که در سیستم های کامپیوتری حافظه توزیع شده استفاده می شود. گروهی از کامپیوترهای مجزا که مجموعاً گره نامیده می شوند، یک کامپیوتر حافظه توزیع شده را تشکیل می دهند.

هر گره برنامه خود را راه اندازی می کند و از روال های ارسال/دریافت برای ارسال و دریافت پیام هنگام تعامل با گره های دیگر استفاده می کند. سیستم ها همچنین می توانند از پیام ها برای همگام سازی موانع استفاده کنند. انتقال پیام ها از طریق طیف گسترده ای از تکنیک های ارتباطی مانند پروتکل کنترل انتقال (TCP/IP) از طریق اترنت و اتصالات پرسرعت تخصصی مانند Supercomputer Interconnect و Myrinet امکان پذیر است.

6. پردازش انبوه موازی (MPP)
   یک ساختار ذخیره سازی به نام پردازش موازی انبوه (MPP) برای مدیریت اجرای هماهنگ عملیات برنامه توسط پردازنده های متعدد ساخته شده است. با استفاده از هر CPU از سیستم عامل و حافظه خود، این پردازش هماهنگ را می توان در بخش های مختلف برنامه اعمال کرد.

در نتیجه، پایگاه های داده MPP می توانند حجم عظیمی از داده ها را مدیریت کنند و تجزیه و تحلیل های مبتنی بر مجموعه داده های بزرگ را به طور قابل توجهی سریعتر ارائه دهند. پردازنده‌های MPP معمولاً از طریق یک رابط پیام‌رسانی ارتباط برقرار می‌کنند و می‌توانند تا ۲۰۰ یا بیشتر پردازنده داشته باشند که روی یک برنامه کار می‌کنند. این با فعال کردن انتقال پیام بین فرآیندها از طریق مجموعه ای از پیوندهای داده مربوطه عمل می کند.

رایج ترین انواع کامپیوترهای مورد استفاده در سیستم های پردازش موازی SIMD و MIMD هستند. اگرچه کامپیوترهای SISD به تنهایی نمی توانند به صورت موازی کار کنند، با اتصال بسیاری از آنها می توان یک خوشه ایجاد کرد. در یک سیستم موازی گسترده تر،

مثال های پردازش موازی
پردازش موازی یا محاسبات موازی، امروزه کاربردهای مهم بسیاری دارد. این شامل:

1. ابر رایانه ها برای استفاده در نجوم
   جهان به کندی می چرخد و اخترفیزیکدانان باید از شبیه سازی های کامپیوتری برای بررسی این پدیده ها استفاده کنند زیرا برخورد ستاره ها، ادغام کهکشان ها و بلعیدن سیاهچاله ها می تواند میلیون ها سال طول بکشد. چنین مدل های پیچیده ای نیز به قدرت محاسباتی زیادی نیاز دارند. به عنوان مثال، پیشرفت های اخیر در درک سیاهچاله ها توسط یک ابر رایانه موازی امکان پذیر شد.

محققان ثابت کرده‌اند که درونی‌ترین بخش موادی که به دور سیاهچاله‌ها می‌چرخد، پیش از فروپاشی درون سیاهچاله‌ها، با آن سیاه‌چاله‌ها مطابقت دارد و معمایی چهار دهه‌ای را حل می‌کند. این برای کمک به دانشمندان در درک بهتر رفتار این پدیده هنوز ناشناخته بسیار مهم است.

2. پیش بینی در کشاورزی
   وزارت کشاورزی ایالات متحده هر ماه نسبت عرضه و تقاضا را برای محصولات ضروری مختلف محاسبه می کند. پیش‌بینی‌ها ممکن است همه را تحت تأثیر قرار دهد، از جمله سیاست‌گذارانی که تلاش می‌کنند بازارها را تثبیت کنند و کشاورزانی که تلاش می‌کنند بودجه خود را مدیریت کنند.

محققان دپارتمان منابع طبیعی و علوم محیطی در دانشگاه ایلینویز با افزودن داده‌های بیشتر، مانند تخمین‌های رشد محصول، داده‌های آب و هوای فصلی و داده‌های ماهواره‌ای، از پیش‌بینی استاندارد صنعت دولت فدرال در سال ۲۰۱۸ بهتر عمل کردند. این به محققان اجازه داد تا از پیش بینی دولت فدرال بهتر عمل کنند. ابررایانه petascale، Blue Waters در دانشگاه، مسئول پردازش موازی این داده ها با استفاده از الگوریتم های یادگیری ماشین بود.

3. محاسبات ریسک و ارزهای دیجیتال در بانکداری
   بسیاری از فرآیندهای بانکی امروزی، از جمله امتیازدهی اعتبار، مدل‌سازی ریسک، و کشف تقلب، با GPU شتاب می‌شوند. دور شدن از تجزیه و تحلیل متداول مبتنی بر CPU اجتناب ناپذیر بود. در حدود سال ۲۰۰۸، زمانی که قانونگذاران موج های متعددی از مقررات مالی پس از سقوط را معرفی کردند، تخلیه GPU به بلوغ خود رسید.

یکی از اولین پذیرندگان JPMorgan Chase بود که در سال ۲۰۱۱ گفت که از پردازش فقط CPU به پردازش GPU-CPU ترکیبی تغییر می کند. این منجر به بهبود ۴۰ درصدی دقت در مراکز داده از نظر محاسبات ریسک و صرفه جویی ۸۰ درصدی شد. شور و هیجان استخراج رمزنگاری، یک روند مالی ۲۰۱۹-۲۰۲۰، همچنین GPU ها را در کانون توجه قرار داد. بدون پردازش موازی، بیت کوین و بلاک چین نمی توانند کار کنند. جزء “زنجیره ای” بلاک چین بدون محاسبات موازی ناپدید می شود.

4. جلوه های پس از تولید ویدئو
   چندین فیلم پرهزینه اکران شده، مانند Ad Astra از برد پیت و عملیات ترور پیچیده جان ویک، برای جلوه های ویژه پس از تولید به پردازش موازی بستگی دارد. استودیوی Blackmagic Design’s DaVinci Resolve، در میان تنها معدود امکانات پس از تولید استاندارد هالیوود با قابلیت‌های شتاب‌دهنده GPU، در هر دو مورد استفاده شد. این کامپیوترهای قدرتمند بسته به روش ردیابی پرتو، رندرهای پیشرفته ای را انجام می دهند. انیمیشن سه بعدی و تصحیح رنگ هر دو به پردازش موازی GPU به طور منظم نیاز دارند.

۵.کامپیوتر Summit آمریکایی
American Summit یکی از برجسته ترین ابررایانه های جهان است. این دستگاه توسط آزمایشگاه ملی Oak Ridge در وزارت انرژی ایالات متحده طراحی شده است. سرعت پردازش ۲۰۰ پتافلاپ یا ۲۰۰ کوادریلیون عملیات در ثانیه دارد. اگر هر فردی در این سیاره در هر ثانیه یک محاسبات انجام دهد، ده ماه طول می کشد تا آنچه را که سامیت می تواند تنها در یک بار انجام دهد.

این دستگاه برای خنک شدن به ۴۰۰۰ گالن آب در دقیقه نیاز دارد و وزن آن ۳۴۰ تن است. دانشمندان برای درک بهتر الگوهای آب و هوا، زلزله، ژنتیک و فیزیک و ایجاد مواد جدیدی که زندگی ما را آسان‌تر می‌کنند، استفاده می‌کنند.

6. تصویربرداری پزشکی دقیق
   تصویربرداری پزشکی یکی از اولین بخش هایی بود که به دلیل پردازش موازی، به ویژه انقلاب GPU-for-General-Computing، دچار تحول اساسی شد. در حال حاضر حجم وسیعی از ادبیات علمی وجود دارد که توضیح می دهد چگونه افزایش ظرفیت محاسباتی و پهنای باند منجر به افزایش قابل توجه سرعت و وضوح برای تقریباً هر بخش از تصویربرداری پزشکی، از جمله MRI، CT، اشعه ایکس، و توموگرافی نوری شده است.

پیشرفت‌های مشابه با تمرکز موازی احتمالاً پیشرفت قابل توجه بعدی در تصویربرداری پزشکی را نشان خواهند داد و Nvidia در این راه پیشرو است. رادیولوژیست ها اکنون به دلیل ابزار پردازش موازی جدید معرفی شده این شرکت که به سیستم های تصویربرداری در مدیریت افزایش داده ها و بارهای محاسباتی کمک می کند، دسترسی بهتری به ظرفیت های هوش مصنوعی دارند.

7. دسکتاپ و لپ تاپ
   نمونه دیگری از پردازش موازی پردازنده های اینتل هستند که اکثر کامپیوترهای مدرن پرقدرت را اجرا می کنند. پردازنده های HP Spectre Folio و HP EliteBook x360 Intel Core i5 و Core i7 هر کدام دارای چهار هسته پردازشی هستند. HP Z8، یکی از کارآمدترین ایستگاه‌های کاری در صنعت، دارای ۵۶ هسته محاسباتی است که به آن امکان می‌دهد شبیه‌سازی‌های پیچیده سه‌بعدی و ویرایش ویدیوی ۸K در زمان واقعی را انجام دهد.

در حالی که پردازش موازی مدتی است که وجود داشته است، کاربردهای جدیدی در عصر اینترنت اشیا پیدا می کند. دستگاه‌های مدرن اینترنت اشیا پنجره جدیدی را باز می‌کند که حجم وسیعی از داده‌ها را به صورت هم‌زمان تولید می‌کند، که باید فوراً آن‌ها را تجزیه و تحلیل کرد تا مرتبط‌ترین بینش را به دست آورد. به همین دلیل است که مقالات تحقیقاتی مانند “یک سیستم پردازش موازی مبتنی بر مدل برای داده های اینترنت اشیا بر اساس توابع تعریف شده توسط کاربر”، که در پنجمین کنفرانس بین المللی IEEE 2020 در زمینه رایانش ابری و تجزیه و تحلیل داده های بزرگ (ICCCBDA) ارائه شد، به دنبال این هستند که بررسی کنید که چگونه این دو فناوری می توانند با هم کار کنند تا ارزش بیشتری برای شرکت ها ایجاد کنند.

برای اجاره سیستم پردازش موازی کلیک کنید 👉