Container × GPU × AI Pod Platform
AI算力平台-VIDAware容器化
以AI服務單元(Pod)為核心的彈性運行與即時調度中樞
以「AI容器化算力平台」為核心,將每一項AI模型、影像分析與事件推論服務,封裝為獨立AI服務單元(Pod),可依城市各場域的即時需求, 自動分派至不同GPU運算節點執行,實現即時擴展、不中斷運行、跨節點容錯的城市級AI運算架構。
算力離散
Idle resources / Unmanaged
VIDAware算力容器化系統架構
彈性 Container × GPU × AI Pod 架構
VIDAWARE × AI Pod 編排
多來源串流 → AI Pod → 動態調度 GPU 資源
輸入串流
主Pod
備用Pod
來源會自動拋送 → Pod排程 → GPU最低負載優先
GPU伺服器1
CUDA
DEEP_LEARNING(深度學習)
18%
GPU伺服器2
CUDA
GENERAL_COMPUTE(通用計算)
29%
GPU伺服器3
CUDA
EDGE_INFERENCE(邊緣推理)
44%
GPU伺服器4
CUDA
VIDEO_TRANSCODE(影片轉碼)
57%
GPU伺服器5
CUDA
MODEL_SERVING(模型服務)
68%
GPU伺服器6
CUDA
BATCH_INFERENCE(批量推理)
83%
管理營運層:商業化與安全
不同租戶(Tenant)之間的數據安全,並支援基於算力Token的商業模式。
多租戶算力Token計費
統計各專案的資源用量,轉化為Token扣點。 圖表展示了主要租戶在不同服務上的Token消耗情形
Face Recog
License Plate
Event Detect
身份驗證與安全
SSO / OIDC、API Key 管理、TLS 全程加密。
多租戶隔離
Namespace + RBAC,確保租戶間資源完全隔離。
即時告警系統
Email / Line / SMS 自動告警。