#可靠性

延遲、可靠性、成本：AI agent 系統設計的鐵三角

LLM app 還是個 distributed system，延遲、可靠性、成本這三件事會互相打架，你不可能三個都要到極致。談 streaming 降感知延遲、retry/timeout/circuit breaker、prompt 與結果...