Apa yang dimaksud dengan infrastruktur pengelola agen?

Model bahasa tidak dapat menjelajahi web, membuat kueri database, atau mengirim email sendiri. LLM memerlukan sistem eksternal untuk menangkap output teksnya, mengenalinya sebagai perintah, menjalankan perintah tersebut, dan umumnya menentukan kapan suatu tugas dianggap selesai. Infrastruktur pengelola agentic menjalankan fungsi-fungsi ini melalui beberapa mekanisme utama.

Infrastruktur pengelola menangani terjemahan antara model dan application programming interface (API) eksternal. Agen AI sering kali kesulitan menggunakan API tradisional karena tidak memiliki konteks dinamis yang dibutuhkan model untuk bernalar secara efektif. Untuk mengatasi hal ini, banyak infrastruktur pengelola agen modern menggunakan Model Context Protocol (MCP). MCP menstandarkan cara agen AI terhubung ke sumber data dan alat eksternal, sehingga memudahkan penggantian komponen tanpa perlu menulis ulang seluruh aplikasi Anda.

Model tidak secara inheren mengingat apa yang terjadi dua langkah sebelumnya dalam alur kerja yang kompleks. Infrastruktur pengelola mempertahankan konteks percakapan dan status tugas. Infrastruktur ini melacak alat apa yang sudah digunakan agen, apa hasil panggilan dari alat tersebut, dan apa yang awalnya ditanyakan pengguna, sehingga agen dapat berhasil merencanakan langkah selanjutnya.

Saat agen memutuskan untuk mengambil tindakan, infrastruktur pengelola akan menerapkan aturan keamanan. Infrastruktur ini memeriksa apakah agen memiliki izin yang benar untuk mengeksekusi panggilan API tertentu, sehingga mencegah model melakukan tindakan tidak sah atau mengakses data yang dibatasi.

Framework orkestrasi membantu developer membangun aplikasi melalui model bahasa dengan menggabungkan perintah dan sumber data. Infrastruktur pengelola agen adalah jenis lingkungan deployment tertentu yang dibuat secara eksplisit untuk agen otonom. Meskipun framework orkestrasi berfokus pada pengalaman developer dalam menulis kode, infrastruktur pengelola berfokus pada lingkungan runtime. Framework ini memastikan agen dapat berjalan secara berkelanjutan, memantau progresnya sendiri, dan berinteraksi secara aman dengan sistem eksternal.

Membangun infrastruktur pengelola agen melibatkan penggabungan model bahasa Anda dalam skrip yang mengelola input, output, dan eksekusi alatnya. Berikut adalah panduan teoretis tentang cara developer menyiapkan lingkungan ini.

Anda akan memulai dengan membuat reasoning loop berkelanjutan. Loop ini menerima perintah pengguna, mengirimkannya ke model bahasa, dan menunggu respons. Loop tetap aktif hingga model mengindikasikan bahwa model telah sepenuhnya menjawab permintaan pengguna.

Anda dapat menerapkan server MCP alih-alih membuat kode permintaan API individual secara hardcode untuk setiap alat yang mungkin dibutuhkan agen. Anda mendaftarkan alat, seperti fungsi kueri database atau weather API, dalam protokol. Saat model memerlukan informasi, model akan membuat permintaan terstruktur. Infrastruktur pengelola mencegat permintaan ini, meneruskannya melalui server MCP untuk menjalankan alat, dan mengambil data.

Anda menulis logika yang menangkap output alat dan menambahkannya ke histori percakapan yang sedang berjalan. Histori yang diperbarui ini kemudian dimasukkan kembali ke dalam model bahasa. Langkah ini sangat penting, karena memungkinkan model menganalisis data baru dan memutuskan apakah perlu memanggil alat lain, atau apakah model dapat merumuskan jawaban akhir untuk pengguna.

Setelah kode berfungsi secara lokal, langkah terakhir adalah memindahkan infrastruktur pengelola agentic ke lingkungan produksi agar dapat berjalan secara berkelanjutan.

Men-deploy infrastruktur pengelola sederhana adalah cara yang bagus untuk membuat prototipe dan menguji model terbuka, tetapi transisi ke produksi memerlukan infrastruktur yang dapat menangani operasi, keamanan, dan penskalaan berkelanjutan. Untuk pembuatan prototipe yang cepat, lingkungan container serverless dapat menjadi solusi untuk segera mengaktifkan agen dengan overhead minimal.

Namun, seiring dengan makin kompleksnya workload agentic atau penanganan data perusahaan yang sensitif, persyaratan deployment beralih ke platform orkestrasi yang tangguh. Lingkungan ini menyediakan alat pemantauan, pelacakan, dan evaluasi lanjutan yang diperlukan untuk mengelola agen kompleks secara efektif, memastikan kepatuhan, tata kelola data, dan stabilitas operasional.