Google Cloud Managed Lustre
Sistem file paralel berperforma tinggi
Percepat pelatihan dan inferensi HPC dan AI dengan sistem file paralel berperforma tertinggi dari Google yang mematuhi POSIX.
Fitur
Performa dan skala untuk workload AI/ML
Melatih model deep learning besar memerlukan set data yang sangat besar. Managed Lustre, yang didasarkan pada DDN EXAScaler, mendistribusikan akses data, sehingga mengurangi waktu pelatihan, memungkinkan insight yang lebih cepat, akurasi yang lebih baik, dan penanganan project AI yang kompleks. Skalabilitasnya dirancang agar performa dapat mengimbangi pertumbuhan data, sehingga mencegah bottleneck penyimpanan. Tonton ringkasan Omdia tentang Managed Lustre di sini.
Mempercepat Inferensi AI dengan cache KV
AI agentic terus mendorong jendela konteks yang besar dan hal ini dapat menimbulkan tantangan penyimpanan untuk memberikan pengalaman responsif kepada Anda saat berinteraksi dengan Model Bahasa Besar. Jendela konteks yang besar meningkatkan sensitivitas latensi karena memori lokal pada akselerator sering kali habis, sehingga model perlu mengakses penyimpanan eksternal.
Memaksimalkan saturasi GPU dan ROI komputasi
Biaya AI yang sebenarnya bukan hanya penyimpanan, tetapi juga komputasi yang tidak ada aktivitas. Managed Lustre menghadirkan pengiriman data dengan throughput tinggi dan latensi rendah yang diperlukan untuk menjaga aset termahal Anda tetap tersaturasi sepenuhnya. Dengan mengoptimalkan distribusi data dan mempercepat pembuatan checkpoint yang cepat, Anda secara signifikan meningkatkan penggunaan akselerator, sehingga mengurangi beban dan meningkatkan performa per dolar.
Mendukung inovasi di berbagai industri
| Industri |
|---|
AI dan ML Menghilangkan kekurangan data dan melatih model dasar dalam skala besar. Dengan memisahkan komputasi dan penyimpanan, Managed Lustre meningkatkan throughput inferensi LLM, dengan caching KV eksternal sub-milidetik, sehingga akselerator termahal Anda tetap tersaturasi sepenuhnya. Pelajari AI di Google Cloud. |
Layanan kesehatan dan ilmu hayati Mendorong inovasi terobosan menuju pengobatan baru. Memberikan IOPS ekstrem yang diperlukan untuk mempercepat penemuan obat, menganalisis pengurutan genomika yang kompleks, dan mendukung suite pencitraan medis berbasis AI, sehingga mengurangi waktu yang dibutuhkan peneliti dan klinisi untuk mendapatkan insight secara drastis. Pelajari layanan kesehatan dan ilmu hayati di Google Cloud. |
Visi mesin, robotika, dan kendaraan otonom Mempercepat pipeline kendaraan software-defined. Mendukung inovator agar dapat dengan mudah menyerap telemetri sensor berskala petabyte, sekaligus meningkatkan kualitas riset dan pengembangan engineering dengan penyimpanan tanpa latensi untuk simulasi aerodinamika, keamanan, dan pengoptimalan termal. Pelajari otomotif di Google Cloud. |
Pasar modal Menjalankan workload yang memerlukan presisi sub-milidetik. Baik dalam menjalankan analisis risiko kuantitatif yang rumit dan simulasi pasar real-time untuk layanan keuangan, maupun mempercepat rendering VFX resolusi tinggi, dan alur kerja pascaproduksi untuk studio media global. Pelajari pasar modal dan layanan keuangan di Google Cloud. |
Media dan hiburan Penuhi tenggat waktu produksi dengan performa penyimpanan tanpa kompromi. Berikan studio Anda throughput ultra tinggi yang diperlukan untuk pengeditan video resolusi tinggi yang lancar, rendering VFX real-time, dan alur kerja pascaproduksi yang dipercepat. Pelajari media dan hiburan di Google Cloud. |
AI dan ML
Menghilangkan kekurangan data dan melatih model dasar dalam skala besar. Dengan memisahkan komputasi dan penyimpanan, Managed Lustre meningkatkan throughput inferensi LLM, dengan caching KV eksternal sub-milidetik, sehingga akselerator termahal Anda tetap tersaturasi sepenuhnya.
Pelajari AI di Google Cloud.
Layanan kesehatan dan ilmu hayati
Mendorong inovasi terobosan menuju pengobatan baru. Memberikan IOPS ekstrem yang diperlukan untuk mempercepat penemuan obat, menganalisis pengurutan genomika yang kompleks, dan mendukung suite pencitraan medis berbasis AI, sehingga mengurangi waktu yang dibutuhkan peneliti dan klinisi untuk mendapatkan insight secara drastis.
Pelajari layanan kesehatan dan ilmu hayati di Google Cloud.
Visi mesin, robotika, dan kendaraan otonom
Mempercepat pipeline kendaraan software-defined. Mendukung inovator agar dapat dengan mudah menyerap telemetri sensor berskala petabyte, sekaligus meningkatkan kualitas riset dan pengembangan engineering dengan penyimpanan tanpa latensi untuk simulasi aerodinamika, keamanan, dan pengoptimalan termal.
Pelajari otomotif di Google Cloud.
Pasar modal
Menjalankan workload yang memerlukan presisi sub-milidetik. Baik dalam menjalankan analisis risiko kuantitatif yang rumit dan simulasi pasar real-time untuk layanan keuangan, maupun mempercepat rendering VFX resolusi tinggi, dan alur kerja pascaproduksi untuk studio media global.
Pelajari pasar modal dan layanan keuangan di Google Cloud.
Media dan hiburan
Penuhi tenggat waktu produksi dengan performa penyimpanan tanpa kompromi. Berikan studio Anda throughput ultra tinggi yang diperlukan untuk pengeditan video resolusi tinggi yang lancar, rendering VFX real-time, dan alur kerja pascaproduksi yang dipercepat.
Pelajari media dan hiburan di Google Cloud.
Mulai
- Membuat instance Managed Lustre: Deploy instance Managed Lustre Anda hanya dengan beberapa klik.
- Menyerap dan Menghubungkan: Isi sistem file Managed Lustre Anda dengan mudah menggunakan data langsung dari Google Cloud Storage.
- Pemrosesan dalam Skala Besar: Masukkan set data besar ke Cluster Pelatihan Vertex (VTC) atau GKE dengan latensi sangat rendah.
- Mempercepat: Berikan data throughput tinggi secara langsung ke hardware generasi berikutnya, sehingga memastikan GPU berjalan dengan penggunaan maksimal.
Tutorial, panduan memulai, dan lab
- Membuat instance Managed Lustre: Deploy instance Managed Lustre Anda hanya dengan beberapa klik.
- Menyerap dan Menghubungkan: Isi sistem file Managed Lustre Anda dengan mudah menggunakan data langsung dari Google Cloud Storage.
- Pemrosesan dalam Skala Besar: Masukkan set data besar ke Cluster Pelatihan Vertex (VTC) atau GKE dengan latensi sangat rendah.
- Mempercepat: Berikan data throughput tinggi secara langsung ke hardware generasi berikutnya, sehingga memastikan GPU berjalan dengan penggunaan maksimal.
Harga
| Harga Managed Lustre | Harga untuk Managed Lustre terutama didasarkan pada lokasi dan tingkat layanan. |
|---|---|
| Tingkat layanan | Harga |
1.000 MB/dtk/TB Terbaik untuk workload berperforma tinggi seperti pelatihan AI/ML yang membutuhkan throughput tinggi. | Mulai $0,60 per GiB per bulan |
500 MB/dtk/TiB Terbaik untuk keseimbangan performa tinggi: Sangat baik untuk workload AI/ML yang menuntut, aplikasi HPC yang kompleks, dan analisis intensif data yang memerlukan throughput besar, tetapi dapat memperoleh manfaat dari rasio harga terhadap performa yang lebih seimbang. | Mulai $0,34 per GiB per bulan |
250 MB/dtk/TiB Terbaik untuk HPC tujuan umum dan AI yang intensif throughput: Cocok untuk berbagai workload HPC, inferensi AI/ML, prapemrosesan data, dan aplikasi yang memerlukan performa yang jauh lebih baik daripada NFS tradisional, dengan titik harga yang hemat biaya. | Mulai $0,21 per GiB per bulan |
125 MB/dtk/TiB Terbaik untuk workload yang berfokus pada kapasitas dengan kebutuhan akses paralel: Dirancang untuk skenario yang memerlukan kapasitas besar dan akses sistem file paralel. Cocok untuk tugas paralel yang tidak terlalu terikat I/O. | Mulai $0,145 per GiB per bulan |
Pelajari penetapan harga Google Cloud. Lihat semua detail penetapan harga.
Harga Managed Lustre
Harga untuk Managed Lustre terutama didasarkan pada lokasi dan tingkat layanan.
1.000 MB/dtk/TB
Terbaik untuk workload berperforma tinggi seperti pelatihan AI/ML yang membutuhkan throughput tinggi.
Mulai $0,60 per GiB per bulan
500 MB/dtk/TiB
Terbaik untuk keseimbangan performa tinggi: Sangat baik untuk workload AI/ML yang menuntut, aplikasi HPC yang kompleks, dan analisis intensif data yang memerlukan throughput besar, tetapi dapat memperoleh manfaat dari rasio harga terhadap performa yang lebih seimbang.
Mulai $0,34 per GiB per bulan
250 MB/dtk/TiB
Terbaik untuk HPC tujuan umum dan AI yang intensif throughput: Cocok untuk berbagai workload HPC, inferensi AI/ML, prapemrosesan data, dan aplikasi yang memerlukan performa yang jauh lebih baik daripada NFS tradisional, dengan titik harga yang hemat biaya.
Mulai $0,21 per GiB per bulan
125 MB/dtk/TiB
Terbaik untuk workload yang berfokus pada kapasitas dengan kebutuhan akses paralel: Dirancang untuk skenario yang memerlukan kapasitas besar dan akses sistem file paralel. Cocok untuk tugas paralel yang tidak terlalu terikat I/O.
Mulai $0,145 per GiB per bulan
Pelajari penetapan harga Google Cloud. Lihat semua detail penetapan harga.
Kasus Bisnis
Simak pengalaman pelanggan Managed Lustre kami
Lihat peluncuran terbaru kami:
“Kemampuan kami untuk membantu perusahaan mengidentifikasi dan memblokir audio, video, dan gambar deepfake hanya sebaik model kami. Managed Lustre sangat penting untuk keberhasilan pelatihan model dengan set data dinamis kami. Kami dapat sepenuhnya mengoptimalkan kapasitas GPU dan solusi ini 6 kali lebih cepat daripada solusi penyimpanan lain yang kami evaluasi.”
Tonton kisah sukses mereka di sini.
—Zohaib Ahmed, CEO Resemble AI
“Managed Lustre memungkinkan kami meningkatkan skala pelatihan model AI untuk AFEELA Intelligent Drive hingga 3 kali lipat dibandingkan dengan solusi Google Cloud lainnya.”
—Motoi Kataoka, Senior Manager, AI and Data Analytics Platform, Sony Honda Mobility Inc.
"Dengan mengintegrasikan Managed Lustre dengan VTC (cluster pelatihan vertex), Salesforce Riset AI mengatasi hambatan orientasi yang umum, sehingga kami dapat langsung menjalankan workload inferensi. Penyimpanan dengan latensi rendah dan throughput tinggi ini menjaga GPU B200 kami tetap tersaturasi sepenuhnya, sehingga mendorong peningkatan performa yang signifikan dalam inferensi Model Bahasa Besar dibandingkan dengan H200. Bagi pelanggan kami, hal ini secara langsung menghasilkan agen AI yang lebih cepat dan responsif yang dapat menangani penalaran kompleks dengan latensi yang jauh lebih rendah dari sebelumnya."
—Lavanya Karanam, Principal Software Engineer, Salesforce
“Beralih ke Google Cloud telah mengubah kecepatan penelitian saya secara fundamental. Pekerjaan saya melibatkan pelatihan jaringan neural berskala besar terhadap set data besar, termasuk Common Corpus lengkap, yang diupload oleh tim cluster dan dibuat agar dapat diakses langsung melalui cluster untuk saya. Set data lengkap ini tidak akan mungkin dicapai dengan infrastruktur apa pun yang dapat saya akses secara praktis. Dengan Managed Lustre, penyerapan yang sebelumnya menghambat pipeline saya kini selesai dalam hitungan detik, GPU tetap digunakan secara konsisten, dan waktu yang dihabiskan untuk menunggu dalam antrean jauh lebih sedikit. Hasilnya adalah waktu perolehan insight yang jauh lebih cepat di setiap eksperimen yang saya jalankan."
—Christopher J. Lynch, Ph.D., Research Assistant Professor, Virginia Modeling, Analysis, & Simulation Center (VMASC), Old Dominion University
Menskalakan workload GKE dengan Managed Lustre
Panduan tentang penggunaan driver CSI Managed Lustre dengan Google Kubernetes Engine (GKE) untuk menyediakan penyimpanan berperforma tinggi dengan lancar untuk workload AI, ML, dan HPC dalam container. Baca blog.
Mempercepat AI dan HPC dengan Managed Lustre
Ringkasan tentang cara Managed Lustre menyederhanakan deployment sistem file paralel untuk workload komputasi berperforma tinggi. Baca blog.
Cache KV eksternal dengan Managed Lustre
Pembahasan mendalam tentang penggunaan Lustre untuk mengalihkan cache KV pada inferensi model bahasa besar (LLM), sehingga dapat mengurangi beban memori pada TPU/GPU. Baca blog.
