Cloud Native Ho Chi Minh

Optimizing & Securing AI Workloads on Kubernetes

Capacity:
in-person
Event date
May 9, 26
09:00 AM - 12:00 PM +07
Location
222 Đường Điện Biên Phủ
About this event

Cộng đồng Cloud Native Community Ho Chi Minh trở lại sau sự thành công của sự kiện tháng 1, với những chủ đề mới, cập nhật mới nhất từ sự kiện KubeCon EU 2026.

Với sự đồng hành tài trợ từ MaivenPoint Vietnam và đồng phối hợp tổ chức của cộng đồng Cloud Native & VietOpenInfra!

Nội dung sự kiện

(9:00-9:15) Opening: Cập nhật mới về cộng đồng và điểm nóng từ sự kiện KubeCon EU 2026

(9:20-9:50) Talk1: LMCache on Kubernetes

Reduce TTFT for LLM Inference by KV Cache Offloading

_từ Duy Lưu - Senior Devops engineer @ FPT telecom, Nghĩa Huỳnh - Solution Architect @ AWS Partner

(10:00-10:30) Talk2: Kiểm soát AI trong DevSecOps: kết hợp AppSec truyền thống để giảm noise, cost và tăng độ tin cậy

AI đang được dùng để generate và review code, nhưng kéo theo 2 vấn đề thực tế trong pipeline:

  1. chi phí token tăng nhanh khi scale,

  2. độ tin cậy không ổn định khi AI phải tự đánh giá chính AI-generated code.

Bài chia sẻ này đưa ra một cách tiếp cận mang tính hệ thống:

  • dùng các cơ chế AppSec truyền thống (SAST, DAST, policy, rule engine) như lớp kiểm soát deterministic để lọc signal, giảm noise và tối ưu chi phí trước khi đưa vào AI

  • sau đó sử dụng AI như lớp phân tích bổ sung để review, triage và làm giàu các findings, giúp giảm false positive và tăng tính hành động (actionability)

Thông qua demo thực tế, chúng tôi sẽ minh họa cách kết hợp hai lớp này trong DevSecOps pipeline để đạt được cân bằng giữa cost, coverage và độ chính xác, thay vì phụ thuộc hoàn toàn vào một phía.

_từ Bùi Song Toàn - Security Product Manager @ FPT Smart Cloud

(10:40-11:10) Talk3: Lazy Loading technology for AI/ML container images

  • AI/ML container images are large (8–9 GB for vLLM, 3–5 GB for Jupyter). Traditional OCI pull requires downloading the entire image before the container starts — causing slow cold-starts and stalled autoscaling.

  • Lazy loading solves this by starting the container from a small metadata index and fetching data chunks on-demand. Multiple technologies implement this: Nydus, SOCI, and Stargz.

  • This research benchmarks all three against standard OCI across two registry types (internal Har-bor/MinIO and external VCR), and provides a production deployment guide for the recommended solution.

_từ Ngô Quang Hòa - Senior System Engineer @ GreenNode

Thông tin sự kiện

⁠Thời gian: 09:00-12:00 ngày 09/05/2026 (thứ bảy)

⁠Địa điểm: cirCO Dien Bien Phu , 222 Đường Điện Biên Phủ, Thành phố Hồ Chí Minh

Đăng ký tham dự qua trang sự kiện: https://ocgroups.dev/cncf/group/fakh47f/event/9tj7m55

🚀 Đừng bỏ lỡ cơ hội cập nhật kiến thức và networking cùng cộng đồng!

Hẹn gặp bạn tại sự kiện!

Organizers