Sudah lama berlalu ketika kehadiran high performance computing (HPC) terbatas hanya pada simulasi dan permodelan yang tradisional pada government research labs atau institusi pendidikan. Saat ini HPC mencakup bentuk dari distributed computing, termasuk advanced data analytics dan artificial intelligence. HPC systems harus terintegrasi dengan teknologi baru, software terbaru dari framework dan application, algoritma baru hingga level pengguna baru dengan latar belakang dan keahlian yang berbeda.
Satu hal yang dibutuhkan perusahaan saat ini adalah membuat sistem yang konsisten dan fleksibel untuk menyiapkan dan mengelola compute clusters dalam menjalankan workloads yang beragam.
Biasanya saat perusahaan memiliki teknologi processor dan accelerator yang terintegrasi satu sama lain akan bergantung pada aplikasi. Dimana teknologi ini jauh lebih dinamis dibandingkan aplikasi HPC tradisional yang berjalan pada middleware MPI yang statis dalam jangka waktu empat atau lima tahun.
Kebutuhan akan fleksibilitas tidak hanya tentang kemampuan untuk menggunakan hardware yang beragam untuk workload yang berbeda. Penggunaan data analytics dan machine learning jadi teknologi utama saat ini.
Termasuk juga dalam deployment model, mencakup on-premises clusters to compute, storage dan kapasitas networking pada public clouds bahkan hingga ke edge, dimana penggunaan AI dan analytics meningkat karena adanya latensi dan isu pergerakan data.
Dahulu perusahaan membeli supercomputers seperti membeli satu set laptop atau server untuk specific users dan satu lagi untuk specific application. Tidak dapat kita sangkal memang, supercomputer merupakan sistem yang sangat besar dan lebih kompleks, tetapi proses dalam menentukan sebuah mesin hanya dilakukan sekali, disiapkan dan digunakan selama empat atau lima tahun dan kemudian diganti dengan mesin terbaru.
Hardware dan software mengalami perubahan. Sampai batas tertentu, tumpukan software pada HPC clusters selalu berubah tapi tidak seperti yang kita lihat saat ini. Dari waktu ke waktu software selalu melakukan proses pembaharuan, tapi saat ini perusahaan mungkin bisa menjalankan simulasi dan model sesuai bagian cluster dan beban kerja AI pada bagian lainnya.
Data analytics dan seluruh mesin mungkin dapat digunakan untuk menjalankan satu workloads yang besar untuk waktu yang lama. Seiring berjalannya waktu workloads berubah, semua software harus dapat merespon dengan cepat. Dan yang harus diingat adalah cluster berubah dalam banyak dimensi yang berbeda.
Fleksibilitas yang dibutuhkan oleh HPC customers tidak akan benar-benar berguna kecuali jika dikembangkan ke public cloud. Apapun yang dikembangkan oleh users, kumpulan tools yang sama akan membuat on-premises machines malleable dan harus tersedia untuk dikembangkan ke cloud. Dimana workloads tertentu mungkin akan berjalan pada mode burst atau dapat berjalan sepenuhnya di cloud sesua kondisi yang ditentukan. Dan pada waktu tertentu, perusahaan perlu mengembangkan hingga ke edge, di mana sejumlah data dan komputasi akan beroperasi.