Skip to content

Conversation

soulgod001
Copy link

背景:全模块部署时,每次新建连接会重复初始化所有组件(如 TTS/LLM/ASR),部分网络依赖型组件(如 LLM)初始化耗时较长,导致连接响应慢。
改动:为所有核心模块(TTS/LLM/Intent/Memory/VAD/ASR)添加基于配置的缓存机制,相同配置时复用已初始化的组件实例,减少重复初始化耗时。
顾虑:缓存组件实例可能增加资源占用,并发共享时需考虑线程安全(待验证)。
后续:计划通过配置开关控制缓存启用,平衡性能与资源安全。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

1 participant