NVIDIA Merilis Layanan Mikro NIM untuk Melindungi Aplikasi bagi Agentic AI
Agen AI siap mengubah medusa88 produktivitas bagi miliaran pekerja pengetahuan di dunia dengan “robot pengetahuan” yang dapat menyelesaikan berbagai tugas. Untuk mengembangkan agen AI, perusahaan perlu mengatasi masalah penting seperti kepercayaan, keselamatan, keamanan, dan kepatuhan.
Layanan mikro NVIDIA NIM baru untuk pembatas AI — bagian dari koleksi alat perangkat lunak NVIDIA NeMo Guardrails — adalah layanan mikro inferensi portabel dan dioptimalkan yang membantu perusahaan meningkatkan keamanan, presisi, dan skalabilitas aplikasi AI generatif mereka.
Inti dari orkestrasi layanan mikro adalah NeMo Guardrails, bagian dari platform NVIDIA NeMo untuk mengkurasi, menyesuaikan, dan melindungi AI. NeMo Guardrails membantu pengembang mengintegrasikan dan mengelola AI guardrails dalam aplikasi model bahasa besar (LLM). Pemimpin industri Amdocs, Cerence AI, dan Lowe’s termasuk di antara mereka yang menggunakan NeMo Guardrails untuk melindungi aplikasi AI.
Pengembang dapat menggunakan layanan mikro NIM untuk membangun agen AI yang lebih aman dan tepercaya yang memberikan respons yang aman dan tepat dalam pedoman khusus konteks dan diperkuat terhadap upaya jailbreak. Diterapkan dalam layanan pelanggan di berbagai industri seperti otomotif, keuangan, perawatan kesehatan, manufaktur, dan ritel, agen tersebut dapat meningkatkan kepuasan dan kepercayaan pelanggan.
Salah satu layanan mikro baru, yang dibuat untuk memoderasi keamanan konten, dilatih menggunakan Aegis Content Safety Dataset — salah satu sumber data beranotasi manusia dengan kualitas tertinggi dalam kategorinya. Dikurasi dan dimiliki oleh NVIDIA, set data tersebut tersedia untuk umum di Hugging Face dan mencakup lebih dari 35.000 sampel data beranotasi manusia yang ditandai untuk keamanan AI dan upaya jailbreak untuk melewati batasan sistem.
NVIDIA NeMo Guardrails Menjaga Agen AI Tetap pada Jalurnya
AI dengan cepat meningkatkan produktivitas untuk berbagai proses bisnis. Dalam layanan pelanggan, AI membantu menyelesaikan masalah pelanggan hingga 40% lebih cepat . Namun, penskalaan AI untuk layanan pelanggan dan agen AI lainnya memerlukan model aman yang mencegah keluaran yang berbahaya atau tidak sesuai dan memastikan aplikasi AI berperilaku dalam parameter yang ditentukan.
NVIDIA telah memperkenalkan tiga layanan mikro NIM baru untuk NeMo Guardrails yang membantu agen AI beroperasi dalam skala besar sambil mempertahankan perilaku yang terkendali:
Keamanan konten Layanan mikro NIM yang menjaga AI agar tidak menghasilkan keluaran yang bias atau merugikan, memastikan respons sesuai dengan standar etika.
Kontrol topik Layanan mikro NIM yang menjaga percakapan tetap fokus pada topik yang disetujui, menghindari penyimpangan atau konten yang tidak pantas.
Layanan mikro NIM deteksi jailbreak yang menambahkan perlindungan terhadap upaya jailbreak, membantu menjaga integritas AI dalam skenario yang merugikan.
Dengan menerapkan beberapa model ringan dan khusus sebagai pembatas, pengembang dapat menutupi celah yang mungkin terjadi jika hanya ada kebijakan dan perlindungan global yang lebih umum — karena pendekatan seragam tidak dapat mengamankan dan mengendalikan alur kerja AI agen yang kompleks dengan baik .
Model bahasa kecil, seperti yang ada dalam koleksi NeMo Guardrails, menawarkan latensi yang lebih rendah dan dirancang untuk berjalan secara efisien, bahkan dalam lingkungan yang terbatas sumber dayanya atau terdistribusi. Hal ini membuatnya ideal untuk penskalaan aplikasi AI dalam industri seperti perawatan kesehatan, otomotif, dan manufaktur, di lokasi seperti rumah sakit atau gudang.
Pemimpin dan Mitra Industri Melindungi AI dengan NeMo Guardrails
NeMo Guardrails, tersedia untuk komunitas sumber terbuka, membantu pengembang mengatur beberapa kebijakan perangkat lunak AI — disebut rails — untuk meningkatkan keamanan dan kontrol aplikasi LLM. Ia bekerja dengan layanan mikro NVIDIA NIM untuk menawarkan kerangka kerja yang kuat untuk membangun sistem AI yang dapat digunakan dalam skala besar tanpa mengorbankan keselamatan atau kinerja.
Amdocs, penyedia perangkat lunak dan layanan global terkemuka untuk perusahaan komunikasi dan media, memanfaatkan NeMo Guardrails untuk meningkatkan interaksi pelanggan berbasis AI dengan memberikan respons yang lebih aman, lebih akurat, dan sesuai konteks.
“Teknologi seperti NeMo Guardrails sangat penting untuk menjaga keamanan aplikasi AI generatif, membantu memastikan aplikasi tersebut beroperasi dengan aman dan etis,” kata Anthony Goonetilleke, presiden grup teknologi dan kepala strategi di Amdocs. “Dengan mengintegrasikan NVIDIA NeMo Guardrails ke platform amAIz kami, kami meningkatkan kemampuan ‘AI Tepercaya’ platform tersebut untuk memberikan pengalaman agensi yang aman, andal, dan dapat diskalakan. Hal ini memberdayakan penyedia layanan untuk menerapkan solusi AI dengan aman dan percaya diri, serta menetapkan standar baru untuk inovasi AI dan keunggulan operasional.”
Cerence AI, sebuah perusahaan yang mengkhususkan diri dalam solusi AI untuk industri otomotif, menggunakan NVIDIA NeMo Guardrails untuk membantu memastikan asisten di mobilnya memberikan interaksi yang aman dan sesuai konteks yang didukung oleh keluarga model bahasa besar dan kecil CaLLM.
Lowe’s, peritel perlengkapan rumah terkemuka, memanfaatkan AI generatif untuk membangun keahlian mendalam para karyawan tokonya. Dengan menyediakan akses yang lebih baik ke pengetahuan produk yang komprehensif, alat-alat ini memberdayakan karyawan untuk menjawab pertanyaan pelanggan, membantu mereka menemukan produk yang tepat untuk menyelesaikan proyek mereka, dan menetapkan standar baru untuk inovasi ritel dan kepuasan pelanggan.
“Kami selalu mencari cara untuk membantu para karyawan melampaui ekspektasi pelanggan kami,” kata Chandhu Nair, wakil presiden senior bidang data, AI, dan inovasi di Lowe’s. “Dengan penerapan NVIDIA NeMo Guardrails baru-baru ini, kami memastikan respons yang dihasilkan AI aman, terjamin, dan andal, serta menegakkan batasan percakapan untuk hanya memberikan konten yang relevan dan sesuai.”
Untuk lebih mempercepat penerapan perlindungan AI dalam pengembangan dan penerapan aplikasi AI di sektor ritel, NVIDIA baru-baru ini mengumumkan di pameran NRF bahwa NVIDIA AI Blueprint untuk asisten belanja ritel menggabungkan layanan mikro NeMo Guardrails untuk menciptakan interaksi pelanggan yang lebih andal dan terkendali selama pengalaman belanja digital.
Pemimpin konsultan Taskus, Tech Mahindra dan Wipro juga mengintegrasikan NeMo Guardrails ke dalam solusi mereka untuk menyediakan klien perusahaan mereka aplikasi AI generatif yang lebih aman, lebih andal, dan terkendali.
NeMo Guardrails bersifat terbuka dan dapat diperluas, menawarkan integrasi dengan ekosistem yang tangguh dari penyedia model keamanan AI dan guardrail terkemuka, serta alat observabilitas dan pengembangan AI. Mendukung integrasi dengan ActiveScore milik ActiveFence , yang menyaring konten yang berbahaya atau tidak pantas dalam aplikasi AI percakapan, dan menyediakan visibilitas, analitik, dan pemantauan.
Hive, yang menyediakan model deteksi konten yang dihasilkan AI untuk konten gambar, video, dan audio sebagai layanan mikro NIM, dapat dengan mudah diintegrasikan dan diatur dalam aplikasi AI menggunakan NeMo Guardrails.
Platform Fiddler AI Observability terintegrasi dengan mudah dengan NeMo Guardrails untuk meningkatkan kemampuan pemantauan AI guardrail. Dan Weights & Biases, platform pengembang AI menyeluruh, memperluas kemampuan W&B Weave dengan menambahkan integrasi dengan layanan mikro NeMo Guardrails. Peningkatan ini dibangun di atas portofolio integrasi NIM Weights & Biases yang ada untuk inferensi AI yang dioptimalkan dalam produksi.
Pengembang yang siap menguji efektivitas penerapan model perlindungan dan rel lainnya dapat menggunakan NVIDIA Garak — perangkat sumber terbuka untuk LLM dan pemindaian kerentanan aplikasi yang dikembangkan oleh tim Riset NVIDIA.
Dengan Garak, pengembang dapat mengidentifikasi kerentanan dalam sistem menggunakan LLM dengan menilai kerentanan tersebut untuk masalah seperti kebocoran data, injeksi cepat, halusinasi kode, dan skenario jailbreak. Dengan menghasilkan kasus uji yang melibatkan keluaran yang tidak tepat atau salah, Garak membantu pengembang mendeteksi dan mengatasi potensi kelemahan dalam model AI untuk meningkatkan ketahanan dan keamanannya.