Observability: Giám sát hệ thống phần mềm

Cả ba liên kết với nhau. Request slow (metric) → xem logs xảy ra gì → dùng trace xem bottleneck ở đâu → sửa.

Các insight mà người mới hay bỏ lỡ

1. Logging có chi phí. Mỗi dòng log ghi ra, networking, storage, và khi query phải scan. Có công ty Việt Nam từng ghi log ở mức INFO trong production, 3 tháng sau bill cloud tăng gấp đôi. Cách smart: dùng sampling (chỉ log 1% request), structured logging (JSON, dễ query), và set retention policy cụ thể.

2. Alert fatigue là quái vật thực sự. Bạn setup 50 alert, nhưng nếu 40 trong số đó là false positive, team sẽ… không chú ý alert nào nữa (được gọi là "alert fatigue"). Thực tế: alert ít hơn, chính xác hơn, từ từ tăng. Dùng dynamic threshold, machine learning để detect anomaly nếu có khả năng.

3. Distributed tracing cần buy-in từ cả team. Instrumentation không tự động – bạn phải code vào từng microservice, middleware, database call. Công ty lớn thì dùng auto-instrumentation (OpenTelemetry agents), nhưng rồi sẽ phải tune performance, sample rate, etc.

4. Metadata là vàng. Ghi log "Error occurred" vs ghi log "Payment verification failed for user_id=12345, amount=500k, retry_attempt=2" khác nhau quá trời. Cái thứ hai bạn có thể correlate với business metrics.

Con đường thực tế

Bước 1: Logs first. Dễ bắt đầu nhất. Lấy ELK hoặc Loki, config LogBack/Winston/Pino (tùy stack), xem logs. Rồi mới tới metrics.

Bước 2: Metrics cho hệ thống. Prometheus scrape metrics từ app (mở port 9090 hoặc tuỳ), Grafana visualize.

Bước 3: Traces khi có complexity. Microservices mà không có trace = mù quáng. Jaeger nhẹ, deploy tương đối dễ.

Bước 4: Refinement. Tune alerts, cải thiện dashboards, setup oncall rotation, tài liệu runbook (khi X xảy ra, làm Y).

Cost vs Benefit

Tại sao không phải công ty nào cũng full-stack observability? Chi phí. Một setup Datadog nghiêm túc cho hệ thống 100+ microservices có thể $10k+/tháng. ELK stack tự deploy rẻ hơn nhưng cần người maintain. Chiến lược smart: observability cho critical path, monitoring standard cho phần còn lại.

Ở Việt Nam, trend là công ty fintech/ecommerce đầu tiên "choáng" vì downtime, rồi đầu tư vào observability. Sau đó, doanh số tăng, customer churn giảm, MTTR (mean time to resolution) từ 2 giờ xuống 10 phút – ROI tính ra lợi.

---

Observability không phải luxury – nó là cách duy nhất để sleep yên khi service của bạn chạy production. Ở Idflow Technology, chúng tôi giúp team tự xây dựng observability systems mà không cần bỏ tiền đầu tư quá lớn.