আপনার কি এমন মেশিনের প্রয়োজন যা প্রতি সেকেন্ডে শত শত ট্রিলিয়ন ভাসমান-বিন্দু গণনা সরবরাহ করতে পারে? অথবা আপনার বেস্টমেন্টের সুপার কম্পিউটার কিভাবে একটি ব্রেকার উল্টেছে সে সম্পর্কে আপনার একটি বার গল্পের প্রয়োজন আছে? আপনার নিজস্ব হাই পারফরম্যান্স কম্পিউট ক্লাস্টার, যেমন, সুপার কম্পিউটার তৈরি করা, যে কোনও বিশেষজ্ঞ গিককে সপ্তাহান্তে অবসর সময় এবং কিছু নগদ অর্থ জ্বালিয়ে দিতে পারে। টেকনিক্যালি বলতে গেলে, একটি আধুনিক, মাল্টি-প্রসেসর সুপারকম্পিউটার হল কম্পিউটারের একটি নেটওয়ার্ক যা একটি সমস্যা সমাধানে সমান্তরালভাবে কাজ করে। এই নিবন্ধটি প্রক্রিয়ার প্রতিটি ধাপ সংক্ষেপে বর্ণনা করবে, হার্ডওয়্যার এবং সফটওয়্যারের উপর দৃষ্টি নিবদ্ধ করে।
ধাপ
পদক্ষেপ 1. প্রথমে হার্ডওয়্যার উপাদান এবং প্রয়োজনীয় সম্পদ নির্ধারণ করুন।
আপনার একটি হেড নোড, কমপক্ষে এক ডজন অভিন্ন কম্পিউট নোড, একটি ইথারনেট সুইচ, একটি পাওয়ার ডিস্ট্রিবিউশন ইউনিট এবং একটি র্যাকের প্রয়োজন হবে। বৈদ্যুতিক চাহিদা, শীতলকরণ এবং প্রয়োজনীয় স্থান নির্ধারণ করুন। আপনার ব্যক্তিগত নেটওয়ার্কগুলির জন্য আপনি কোন আইপি ঠিকানা চান, নোডের নাম কী রাখবেন, কোন সফ্টওয়্যার প্যাকেজগুলি আপনি ইনস্টল করতে চান এবং কোন প্রযুক্তি আপনি সমান্তরাল কম্পিউটিং ক্ষমতা প্রদান করতে চান সে বিষয়ে সিদ্ধান্ত নিন (এই বিষয়ে আরও পরে)।
- যদিও হার্ডওয়্যারটি ব্যয়বহুল, এই পদ্ধতিতে তালিকাভুক্ত সমস্ত সফ্টওয়্যার বিনামূল্যে এবং অধিকাংশই ওপেন সোর্স।
- আপনি যদি দেখতে চান যে আপনার সুপার কম্পিউটার তাত্ত্বিকভাবে কত দ্রুত হবে, এই টুলটি ব্যবহার করুন:
পদক্ষেপ 2. গণনা নোড তৈরি করুন।
আপনাকে গণনা নোডগুলি একত্রিত করতে হবে বা প্রাক-বিল্ড সার্ভারগুলি অর্জন করতে হবে।
- একটি কম্পিউটার সার্ভার চ্যাসি চয়ন করুন যা স্থান, শীতলকরণ এবং শক্তি দক্ষতা সর্বাধিক করে।
- অথবা আপনি এক ডজন বা তার বেশি ব্যবহৃত, পুরানো সার্ভার ব্যবহার করতে পারেন - যাদের পুরো অংশ তাদের অংশের সমষ্টিকে ছাড়িয়ে যাবে কিন্তু আপনাকে নগদ অর্থের একটি বড় পরিমাণ বাঁচাবে। সমস্ত প্রসেসর, নেটওয়ার্ক অ্যাডাপ্টার, এবং মাদারবোর্ডগুলি সমগ্র সিস্টেমটি একসাথে সুন্দরভাবে চলার জন্য একই হওয়া উচিত। অবশ্যই, প্রতিটি নোডের জন্য RAM এবং স্টোরেজ এবং হেড নোডের জন্য কমপক্ষে একটি অপটিক্যাল ড্রাইভ সম্পর্কে ভুলবেন না।
ধাপ the। র্যাকের মধ্যে সার্ভার ইনস্টল করুন।
নীচে থেকে শুরু করুন, তাই র্যাকটি উপরে ভারী নয়। আপনাকে সাহায্য করার জন্য আপনার একজন বন্ধুর প্রয়োজন হবে - ঘন সার্ভারগুলি খুব ভারী হতে পারে এবং সেগুলিকে রck্যাকের মধ্যে আটকে রাখা কঠিন।
ধাপ 4. সার্ভার চ্যাসিসের উপরে ইথারনেট সুইচ ইনস্টল করুন।
সুইচ কনফিগার করার জন্য এই মুহুর্তটি নিন: 9000 বাইটের জাম্বো ফ্রেম আকারের অনুমতি দিন, ধাপ 1 এ আপনার স্থির ঠিকানাটিতে আইপি ঠিকানা সেট করুন এবং এসএমটিপি স্নুপিংয়ের মতো অপ্রয়োজনীয় রাউটিং প্রোটোকল বন্ধ করুন।
ধাপ 5. PDU (পাওয়ার ডিস্ট্রিবিউশন ইউনিট) ইনস্টল করুন।
সর্বাধিক লোডে আপনার নোডগুলির কতটা বর্তমান প্রয়োজন হতে পারে তার উপর নির্ভর করে, উচ্চ পারফরম্যান্স কম্পিউটিংয়ের জন্য আপনার 220 ভোল্টের প্রয়োজন হতে পারে।
ধাপ 6. সবকিছু ইনস্টল করার সাথে, আপনি কনফিগারেশন প্রক্রিয়া শুরু করতে পারেন।
লিনাক্স হল এইচপিসি ক্লাস্টারের জন্য ডি -ফ্যাক্টো ওএস - এটি কেবল বৈজ্ঞানিক কম্পিউটিংয়ের জন্য আদর্শ পরিবেশ নয়, এটি শত বা এমনকি হাজার হাজার নোডে ইনস্টল করার জন্য কোনও জিনিস খরচ করে না। কল্পনা করুন যে এই সমস্ত নোডে উইন্ডোজ ইনস্টল করতে কত খরচ হবে!
- মাদারবোর্ড BIOS এবং ফার্মওয়্যারের সর্বশেষ সংস্করণটি ইনস্টল করা শুরু করুন, যা সমস্ত নোডে একই হওয়া উচিত।
- হেড নোডের জন্য একটি গ্রাফিকাল UI সহ প্রতিটি নোডে আপনার পছন্দের লিনাক্স ডিস্ট্রো ইনস্টল করুন। জনপ্রিয় পছন্দের মধ্যে রয়েছে CentOS, OpenSuse, Scientific Linux, RedHat এবং SLES।
- এই লেখক রকস ক্লাস্টার ডিস্ট্রিবিউশন ব্যবহার করার জন্য অত্যন্ত সুপারিশ করেছেন। কম্পিউট ক্লাস্টারের কাজ করার জন্য প্রয়োজনীয় সমস্ত সরঞ্জাম ইনস্টল করার পাশাপাশি, রক্স PXE বুট এবং রেড হ্যাট 'কিক স্টার্ট' পদ্ধতি ব্যবহার করে খুব দ্রুত নোডগুলিতে 'বিতরণ' করার একটি দুর্দান্ত পদ্ধতি ব্যবহার করে।
ধাপ 7. মেসেজ-পাসিং ইন্টারফেস, রিসোর্স-ম্যানেজার এবং অন্যান্য প্রয়োজনীয় লাইব্রেরি ইনস্টল করুন।
আপনি যদি পূর্ববর্তী ধাপে রকস ইনস্টল না করেন, তাহলে আপনাকে সমান্তরাল কম্পিউটিং মেকানিজম সক্ষম করতে ম্যানুয়ালি প্রয়োজনীয় সফটওয়্যার সেটআপ করতে হবে।
- প্রথমে আপনার একটি পোর্টেবল ব্যাশ ম্যানেজমেন্ট সিস্টেমের প্রয়োজন হবে, যেমন টর্ক রিসোর্স ম্যানেজার, যা আপনাকে একাধিক মেশিনে টাস্ক বিতরণ এবং বিতরণ করতে দেয়।
- সেটআপ সম্পন্ন করার জন্য মাউই ক্লাস্টার শিডিউলারের সাথে টর্ক সংযুক্ত করুন।
- পরবর্তীতে আপনাকে একই ডেটা ভাগ করার জন্য পৃথক গণনা নোডগুলিতে পৃথক প্রক্রিয়াগুলির জন্য প্রয়োজনীয় বার্তা পাসিং ইন্টারফেস ইনস্টল করতে হবে। OpenMP একটি নো-ব্রেইনার।
- আপনার সমান্তরাল কম্পিউটিং প্রোগ্রাম তৈরির জন্য মাল্টি-থ্রেডিং গণিত লাইব্রেরি এবং কম্পাইলারদের ভুলে যাবেন না। আমি কি উল্লেখ করেছি যে আপনার কেবল রকস ইনস্টল করা উচিত?
ধাপ 8. কম্পিউট নোডগুলিকে একসাথে নেটওয়ার্ক করুন।
হেড নোড গণনা কাজগুলিকে গণনা নোডগুলিতে পাঠায়, যার ফলস্বরূপ ফলাফলটি ফেরত পাঠাতে হবে, পাশাপাশি একে অপরকে বার্তা পাঠাতে হবে। যত দ্রুত হবে ততই ভালো।
- ক্লাস্টারের সমস্ত নোড সংযুক্ত করতে একটি ব্যক্তিগত ইথারনেট নেটওয়ার্ক ব্যবহার করুন।
- হেড নোড ইথারনেট নেটওয়ার্কে NFS, PXE, DHCP, TFTP, এবং NTP সার্ভার হিসেবেও কাজ করতে পারে।
- আপনাকে অবশ্যই এই নেটওয়ার্কটিকে পাবলিক নেটওয়ার্ক থেকে আলাদা করতে হবে, যা নিশ্চিত করে যে ব্রডকাস্ট প্যাকেটগুলি আপনার ল্যানের অন্যান্য নেটওয়ার্কের সাথে হস্তক্ষেপ করবে না।
ধাপ 9. ক্লাস্টার পরীক্ষা করুন।
আপনার ব্যবহারকারীদের কাছে এই সমস্ত গণনা ক্ষমতা প্রকাশ করার আগে আপনি শেষ কাজটি করতে পারেন তা হল এর কর্মক্ষমতা পরীক্ষা করা। HPL (High Performance Lynpack) বেঞ্চমার্ক ক্লাস্টারের কম্পিউটেশনাল স্পিড মাপার জন্য একটি জনপ্রিয় পছন্দ। আপনার কম্পাইলার আপনার নির্বাচিত আর্কিটেকচারের জন্য প্রস্তাবিত সমস্ত সম্ভাব্য অপ্টিমাইজেশনের সাথে আপনাকে উৎস থেকে এটি সংকলন করতে হবে।
- অবশ্যই, আপনাকে অবশ্যই আপনার প্ল্যাটফর্মের জন্য সমস্ত সম্ভাব্য অপ্টিমাইজেশান বিকল্প সহ উত্স থেকে সংকলন করতে হবে। উদাহরণস্বরূপ, যদি এএমডি সিপিইউ ব্যবহার করে, -0 ফাস্ট অপ্টিমাইজেশন স্তরের সাথে ওপেন 64 এর সাথে কম্পাইল করুন।
- আপনার ক্লাস্টারকে বিশ্বের দ্রুততম 500 সুপার কম্পিউটারের সাথে তুলনা করতে TOP500.org এ আপনার ফলাফল তুলনা করুন!
ভিডিও - এই পরিষেবাটি ব্যবহার করে, কিছু তথ্য ইউটিউবের সাথে শেয়ার করা যেতে পারে।
পরামর্শ
- সত্যিই উচ্চ নেটওয়ার্ক গতির জন্য, InfiniBand নেটওয়ার্ক ইন্টারফেস দেখুন। যদিও প্রিমিয়াম মূল্য দিতে প্রস্তুত থাকুন।
- আইপিএমআই কেভিএম-ওভার-আইপি, রিমোট পাওয়ার সাইক্লিং এবং আরও অনেক কিছু প্রদান করে একটি বৃহৎ ক্লাস্টারের প্রশাসনকে বাতাসে পরিণত করতে পারে।
- নোডগুলিতে কম্পিউটেশনাল লোডগুলি পর্যবেক্ষণ করতে গ্যাংলিয়া ব্যবহার করুন।
