This website requires JavaScript.
Explore
Help
Register
Sign In
slhaf
/
Partner
Watch
1
Star
0
Fork
0
You've already forked Partner
mirror of
https://github.com/slhaf/Partner.git
synced
2026-05-12 08:43:02 +08:00
Code
Issues
Packages
Projects
Releases
Wiki
Activity
Files
doc/architechture
Add File
New File
Upload File
Apply Patch
Partner
/
Partner-Main
History
slhafzjw
5864760f35
Action 模块语义缓存机制实现完毕,支持三种情况的语义缓存相关行为: 命中缓存且评估通过、命中缓存但评估未通过、未命中缓存但评估通过。将在评估过后步入主模块之前,进行异步更新操作(借助@AfterExecute注解,通过虚拟线程进入异步流程,在真正调用处使用平台线程加速计算)
2025-10-19 22:05:27 +08:00
..
data
/log
推进 ActionExtractor 语义缓存机制: 两种嵌入模型的连接方式测试完毕,在高性能主机上,可以通过ollama调用mxbai-embed-large这类模型,但放到4核8G香橙派3B就会出现推理时长过长,哪怕换成ONNX RUNTIME JAVA 也难以避免,但如果更换成 nomic-embed-text + ONNX RUNTIME JAVA ,仍能够拿到70左右ms的推理时长,远低于提取模型以及向量模型API的调用时长。预期可提供两种语义缓存所用的嵌入模型接入方式: 通过 http 调用 本地ollama接口; 指定 ONNX 格式的嵌入模型直接调用。
2025-10-16 23:04:41 +08:00
src
Action 模块语义缓存机制实现完毕,支持三种情况的语义缓存相关行为: 命中缓存且评估通过、命中缓存但评估未通过、未命中缓存但评估通过。将在评估过后步入主模块之前,进行异步更新操作(借助@AfterExecute注解,通过虚拟线程进入异步流程,在真正调用处使用平台线程加速计算)
2025-10-19 22:05:27 +08:00
dependency-reduced-pom.xml
开始推进行动模块(ActionModule); 针对框架与本体分别进行了一系列架构优化。
2025-10-12 16:23:11 +08:00
pom.xml
推进 ActionExtractor 语义缓存机制: 两种嵌入模型的连接方式测试完毕,在高性能主机上,可以通过ollama调用mxbai-embed-large这类模型,但放到4核8G香橙派3B就会出现推理时长过长,哪怕换成ONNX RUNTIME JAVA 也难以避免,但如果更换成 nomic-embed-text + ONNX RUNTIME JAVA ,仍能够拿到70左右ms的推理时长,远低于提取模型以及向量模型API的调用时长。预期可提供两种语义缓存所用的嵌入模型接入方式: 通过 http 调用 本地ollama接口; 指定 ONNX 格式的嵌入模型直接调用。
2025-10-16 23:04:41 +08:00