CloudWatch Omni: Cara Pakai Observability Agen AI AWS

Agen AI sering keliatan “hidup” di dashboard klasik — latency oke, error rate hijau — tapi jawaban yang keluar salah atau tool yang dipilih ngaco. Monitoring lama cuma nanya “jalan atau tidak”. Yang dibutuhkan sekarang: jejak reasoning, skor kualitas, dan satu tempat buat bandingkan prompt sebelum rilis.

Amazon CloudWatch Omni masuk general availability 23 September 2026. Ini evolusi CloudWatch yang fokus observability buat aplikasi plus agen AI, dibangun di atas OpenTelemetry, dan bisa dipakai lewat IDE atau web UI terpisah dari AWS Management Console. Artikel ini bedah apa itu Omni, cara mulai gratis di VS Code/Cursor, eval 17 evaluator, harga, region, plus catatan praktis buat yang kerja dari Indonesia.

Apa itu Amazon CloudWatch Omni

CloudWatch Omni adalah pengalaman observability AI-first di atas data CloudWatch yang sudah ada. Telemetry yang sudah masuk CloudWatch bisa muncul di Omni tanpa re-instrumentasi. Workload baru dikirim lewat OTLP.

Tiga konsep organisasi yang sering bikin bingung di docs:

1. Domain — pintu masuk organisasi; URL bentuknya https://<nama>.cloudwatch-omni.global.app.aws
2. Space — ruang kerja terikat satu akun + Region; akses tim dan data di situ
3. CloudWatch Dataset — lapisan yang bikin log + trace bisa di-query bareng

Buat agen, Omni pakai istilah OpenTelemetry yang sama:

• Trace — satu unit kerja (satu run agen)
• Span — satu langkah di dalam trace (panggilan LLM, tool, retrieval)
• Session — rangkaian trace dalam satu percakapan multi-turn

Catatan: Omni bukan pengganti CloudWatch. Console lama, alarm, Logs Insights, dan API tetap jalan. Omni menambah antarmuka + workflow (eval, playground, investigasi) di atas telemetry yang sama.

Yang membedakan dari “sekadar APM”:

• Skor kualitas agen (correctness, faithfulness, tool selection) jadi sinyal setara latency
• Topology layanan + agen dalam satu peta
• Pertanyaan bahasa sehari-hari → SQL/PromQL dibantu Omni agent
• Investigasi root cause dibantu AWS DevOps Agent

Framework yang didukung out of the box termasuk LangChain/LangGraph, CrewAI, OpenAI Agents SDK, Strands, dan Vercel AI SDK (Python & TypeScript). Evaluasi bisa pakai built-in AgentCore, DeepEval, AutoEval, Ragas, Braintrust, atau LLM-as-judge custom.

Dua permukaan: IDE dan web UI

Omni sengaja dipisah dua permukaan biar developer dan operator tidak saling ganggu workflow.

IDE extension (VS Code, Cursor, Kiro) gratis. Tidak butuh akun AWS buat eksperimen lokal. Data default-nya di mesin sendiri. Cloud Login opsional kalau mau kirim telemetry ke CloudWatch biar tim lain bisa lihat.

Web UI pakai SSO enterprise, di luar AWS Console. Cocok buat fleet monitoring, online eval, dan investigasi bersama (threads).

flowchart LR
  A[Agen LangGraph / CrewAI / SDK] -->|OTLP / OpenInference| B[CloudWatch Dataset]
  B --> C[IDE: Trace Explorer]
  B --> D[Web UI: Fleet + Online Eval]
  C --> E[Playground + Experiments]
  D --> F[DevOps Agent investigasi]
  E --> G[Ship prompt / model baru]
  F --> G

Alur praktis: operator lihat skor eval jelek di web → developer buka trace yang sama di IDE → ubah prompt di playground → experiment vs dataset produksi → rilis kalau skor naik tanpa regresi.

Cara mulai di IDE (langkah cepat)

Path resmi paling pendek buat pemula: pasang extension → sample project → lihat trace → jalankan evaluator.

1. Buka VS Code Marketplace (atau Open VSX buat Cursor/Kiro), cari CloudWatch Omni, install
2. Di Activity Bar muncul ikon Omni → Get started with Sample Project, atau Command Palette → Omni: Create a new Project
3. Ikuti panduan instrumentasi OpenTelemetry (extension bisa dibantu coding agent: Kiro, Claude Code, Codex)
4. Start local dev server, kirim satu pertanyaan ke agen
5. Klik View Trace — pecah LLM call, tool, latency, token

Yang biasanya dicek dulu di Trace Explorer:

• Urutan span: apakah tool dipanggil dua kali tanpa alasan?
• Input/output tiap span (ada PII? ada prompt bocor?)
• Token usage per langkah
• Mode Compare buat taruh dua trace berdampingan

Kalau agen sudah jalan di Amazon Bedrock AgentCore Runtime, telemetry ke CloudWatch sering hampir zero-setup. Agen di EC2/ECS/EKS/Lambda pakai library OpenInference / instrumentation framework masing-masing.

Kalau agen sudah punya kode sendiri (bukan sample), dua jalur setup di docs:

1. Auto-instrument dengan Kiro — deteksi framework, pasang tracing otomatis
2. Manual — tempel snippet OpenInference / OpenTelemetry untuk Python atau TypeScript

Contoh pola bash buat cek extension sudah kebaca di workspace Cursor (setelah install dari Open VSX):

Baca juga WSL Containers: Cara Pakai di Windows Microsoft

code --list-extensions | rg -i 'omni|cloudwatch' || true

Pastikan atribut span tidak “kosong”: session.id, nama tool, model id, dan (kalau ada) user journey. Tanpa itu, topology dan Session Explorer jadi sulit dibaca.

Tips: Mulai lokal dulu tanpa Cloud Login. Baru hubungkan AWS saat butuh share trace atau online eval produksi.

Untuk instrumentasi manual, docs AWS sediakan snippet Python/TypeScript siap tempel. Pola umum: export OTLP ke endpoint CloudWatch / collector, pastikan atribut agen (session id, tool name) tidak hilang. Kalau agent jalan di beberapa service, samakan convention naming span biar Compare mode tidak ribet.

Eval, playground, dan experiments

Ini bagian yang bikin Omni beda dari dashboard “hijau terus”.

Built-in evaluators (sekitar 17 di pengumuman AWS News Blog) mengukur dimensi seperti coherence, helpfulness, faithfulness, routing/tool selection. Bisa jalan:

• On-demand — pilih trace → pilih evaluator → lihat skor per contoh + agregat
• Online — sample traffic produksi (web UI) biar regresi kualitas ketahuan sebelum user komplain
• Offline — dataset versi dari trace “emas”

Loop perbaikan yang disarankan AWS:

1. Diagnose — buka trace bermasalah di playground, coba prompt/model lain
2. Score — jalankan evaluator
3. Compare & ship — experiment dua varian agen vs dataset yang sama
4. Watch — online eval terus-menerus

Prompt Management di IDE menyimpan versi prompt biar gampang rollback. Session Explorer menelusuri multi-turn. Agent Topology memetakan sub-agen dan tool.

Peringatan: Error rate hijau tidak berarti agen benar. Tanpa eval, regresi “halus” (hallucination, tool salah) sering lolos.

Integrasi evaluasi pihak ketiga (DeepEval, AutoEval, Ragas, Braintrust) masuk lewat katalog yang sama dengan AgentCore Evaluations — investasi tooling lama tidak harus dibuang.

Harga, region, dan free trial

Region GA awal: US East (N. Virginia), US West (Oregon), Europe (Ireland). Extension IDE gratis di mana saja; yang kena tagihan CloudWatch adalah telemetry + query + evaluasi yang dikirim ke akun.

Tiga dimensi harga (rate contoh US East):

Free trial: kredit US$1,000 selama 30 hari untuk ingest OpenTelemetry (log, metric, span Application Signals), otomatis saat Omni diaktifkan, sampai 10 akun per AWS Organization. Setelah habis, metering standar — Omni tetap nyala.

Contoh AWS (agen produksi kecil): ~1 TB spans + 0.6 TB logs ≈ ~US$657/bulan sebelum biaya evaluasi (angka blog/pricing page, belum termasuk transfer lintas Region).

Centralization multi-akun: salinan pertama gratis; salinan tambahan ~US$0.05/GB. Transfer data antar Region tetap ikut harga jaringan AWS biasa.

Cara kasar cek tagihan sebelum “kaget”:

1. Di Cost Explorer, filter service AmazonCloudWatch
2. Group by Usage Type yang relevan (DataProcessing*-Bytes, Application-Signals-Bytes, VendedLog-Bytes)
3. Kalikan volume GB dengan rate Region yang dipakai
4. Estimasi query: kalau scan di bawah 5× ingest, biaya query Omni ≈ nol

Angka blog AWS buat example aplikasi ECS/Lambda (3 TB log + 1 TB metric + 1 TB span) bisa tembus sekitar US$2.393/bulan sebelum optimasi — itu skala menengah, bukan laptop. Startup kecil jauh di bawah itu kalau sample trace dan retention pendek.

Yang relevan buat yang kerja dari Indo

Belum ada Region Omni di Asia Pacific di daftar GA awal. Tim di Indonesia biasanya tetap bisa:

• Dev lokal dulu — extension gratis, tidak perlu akun AWS, cocok buat UMKM/startup yang masih ngetes agen di laptop
• Pilih Region terdekat yang sudah GA — sering Ireland atau Virginia; hitung latency OTLP dan biaya transfer
• Bayar dolar — kartu kredit internasional / partner AWS; konversi ke Rp ikut kurs harian bank/fintech
• Data sensitif — cek dulu kebijakan residency & compliance sebelum kirim log chat pelanggan Indo ke Region luar
• Stack campuran — Omni sudah bisa ingest telemetry aplikasi/agen dari Azure; enak kalau infra Indo split multi-cloud
• Webinar Asia — AWS mengadakan sesi 7 Oktober 2026 jam Singapura (GMT+8); jadwal itu dekat WIB

Kalau budget ketat: pakai allowance query 5×, matikan auto-refresh dashboard agresif, sample online eval (misalnya 2% trace), dan tahan span di Infrequent Access kalau jarang dibuka.

Startup yang baru cobain LangGraph di Cursor bisa mulai tanpa buka CloudWatch Console sama sekali. Operator baru masuk saat ada Space + SSO.

Baca juga Antigravity Agent: Cara Pakai di Gemini API

Praktik yang sering dipakai tim kecil di sini:

• Satu Domain bersama, Space terpisah buat dev dan prod
• Prod hanya sample 1–5% trace untuk online eval dulu
• Log chat mentah di-redact sebelum OTLP (nama, telepon, nomor rekening)
• Alert kualitas (skor faithfulness turun) masuk Slack eng channel, bukan cuma PagerDuty infra

Kalau belum punya organisasi AWS besar, trial kredit US$1,000 biasanya cukup buat ngetes pipeline eval seminggu–dua minggu tanpa takut bill meledak — asal tidak flood span debug 24/7.

Checklist

• Install CloudWatch Omni di VS Code / Cursor / Kiro
• Jalankan Sample Project atau buat project baru via Command Palette
• Pastikan OTLP / OpenInference aktif; cek satu trace lengkap
• Cobain Compare mode + minimal satu evaluator built-in
• (Opsional) Cloud Login ke akun AWS uji; buat Domain + Space
• Set retention log/span yang masuk akal; catat Region GA
• Hitung perkiraan ingest vs kredit trial US$1,000
• Kalau produksi: online eval + alert Slack/SNS; jangan andalkan error rate saja
• Dokumentasikan session id & policy PII sebelum log chat customer

Poin penting

• CloudWatch Omni GA 23 September 2026 — observability aplikasi + agen di luar AWS Console
• Dua permukaan: IDE gratis (lokal) dan web UI SSO (produksi)
• ~17 evaluator built-in; eval scores sejajar latency/error
• Framework: LangGraph, CrewAI, OpenAI SDK, Strands, Vercel AI SDK, dll.
• Region awal: us-east-1, us-west-2, eu-west-1
• Query Omni gratis sampai 5× ingest log+span; trial US$1,000 / 30 hari
• AgentCore Runtime → telemetry hampir zero-setup; evaluasi lewat AgentCore Evaluations
• Dari Indo: mulai lokal, pilih Region GA, awasi kurs dolar & data residency

Referensi

1. Amazon Web Services (2026). Amazon CloudWatch Omni: AI-first observability for agents and applications (What's New)
2. AWS News Blog (2026). Introducing Amazon CloudWatch Omni: AI-powered observability for generative AI and agentic workloads
3. AWS Cloud Operations Blog (2026). Introducing Amazon CloudWatch Omni: Observability for the AI Era
4. Amazon CloudWatch (2026). CloudWatch Omni product page
5. Amazon CloudWatch (2026). CloudWatch Omni pricing
6. AWS Documentation (2026). CloudWatch Omni — concepts, domain, space, dataset
7. AWS Documentation (2026). Monitor AI agents in CloudWatch Omni
8. AWS Documentation (2026). Omni feature availability by surface (web UI vs IDE)
9. AWS (2026). CloudWatch Omni IDE extension — VS Code Marketplace / Open VSX
10. Amazon Bedrock (2026). AgentCore Observability and Evaluations overview
11. IDC (2026). Agentic AI is critical infrastructure (cited in AWS Omni launch)
12. AWS (2026). CloudWatch Omni webinars — October 7 schedules (ET and Singapore)