AI 花边 · InfoQ
播客：使用 llm-d、Wasm 和 TornadoVM 在 Kubernetes 上进行分布式 LLM 推理
发布于 · 本站收录 2026-11-11 05:58
在本集中，Edoardo Vacchi 讨论了后端 WebAssembly 不断发展的格局，使用 TornadoVM 在 GPU 上运行 Java 工作负载，以及在 Kubernetes 上使用 llm-d 和 vLLM 优化分布式 AI 推理。
英文原文标题与摘要
Podcast: Distributed LLM Inference on Kubernetes with llm-d, Wasm, & TornadoVM
In this episode, Edoardo Vacchi discusses the evolving landscape of WebAssembly on the backend, running Java workloads on GPUs using TornadoVM, and optimizing distributed AI inference using llm-d and vLLM on Kubernetes.
本站程序每小时从公开 RSS / 官方博客自动收集，英文内容为机器翻译摘要，已自动过滤低俗、时政等敏感内容；细节以原文为准。