|
55 | 55 | <summary><b>2025</b></summary> |
56 | 56 |
|
57 | 57 | ```plaintext |
| 58 | +2025-8-8 初步支持了 embedding 的 vllm 加速 |
58 | 59 | 2025-6-17 支持了 jina-reranker-m0 全球首个支持多模态多语言的重排模型 |
59 | 60 | 2025-6-12 支持了 文生图模型 flux (代码样例见gpt_server/tests/test_image_gen.py) |
60 | 61 | 2025-6-6 支持了 bge-vl 系列 (代码样例见gpt_server/tests/test_openai_embedding_vl.py) |
|
81 | 82 | 2024-9-19 支持了 minicpmv 模型 |
82 | 83 | 2024-8-17 支持了 vllm/hf 后端的 lora 部署 |
83 | 84 | 2024-8-14 支持了 InternVL2 系列多模态模型 |
84 | | -2024-7-28 支持embedding/reranker 的动态组批加速(infinity后端, 比onnx/tensorrt更快) |
| 85 | +2024-7-28 支持了 embedding/reranker 的动态组批加速(infinity后端, 比onnx/tensorrt更快) |
85 | 86 | 2024-7-19 支持了多模态模型 glm-4v-gb 的LMDeploy PyTorch后端 |
86 | 87 | 2024-6-22 支持了 Qwen系列、ChatGLM系列 function call (tools) 能力 |
87 | 88 | 2024-6-12 支持了 qwen-2 |
@@ -288,30 +289,30 @@ Chat UI界面: |
288 | 289 |
|
289 | 290 | **原则上支持所有的Embedding/Rerank/Classify模型** |
290 | 291 |
|
291 | | -**推理速度:** embedding_infinity > embedding |
| 292 | +**推理速度:** infinity > sentence_transformers |
292 | 293 |
|
293 | 294 | 以下模型经过测试可放心使用: |
294 | 295 |
|
295 | | -| Models / model_type | embedding | embedding_infinity | |
296 | | -| ----------------------------------------------------------------------------------- | --- | -------- | |
297 | | -| bge-m3 | √ | √ | |
298 | | -| bge-vl | √ | × | |
299 | | -| jina-reranker-m0 | √ | × | |
300 | | -| bge-reranker | √ | √ | |
301 | | -| bge-embedding | √ | √ | |
302 | | -| bce-reranker | √ | √ | |
303 | | -| bce-embedding | √ | √ | |
304 | | -| puff | √ | √ | |
305 | | -| piccolo-base-zh-embedding | √ | √ | |
306 | | -| acge_text_embedding | √ | √ | |
307 | | -| Yinka | √ | √ | |
308 | | -| zpoint_large_embedding_zh | √ | √ | |
309 | | -| xiaobu-embedding | √ | √ | |
310 | | -| Conan-embedding-v1 | √ | √ | |
311 | | -| qwen3-embedding | √ | √ | |
312 | | -| ritrieve_zh_v1 | √ | √ | |
313 | | -| KoalaAI/Text-Moderation(文本审核/多分类,审核文本是否存在暴力、色情等) | × | √ | |
314 | | -| protectai/deberta-v3-base-prompt-injection-v2(提示注入/2分类,审核文本为提示注入) | × | √ | |
| 296 | +| Models / BackEnd | sentence_transformers | infinity | vllm| |
| 297 | +| ---------------------------------------------------- | --- | -------- |-------- | |
| 298 | +| bge-m3 | √ | √ |× | |
| 299 | +| bge-vl | √ | × |× | |
| 300 | +| jina-reranker-m0 | √ | × |× | |
| 301 | +| bge-reranker | √ | √ |× | |
| 302 | +| bge-embedding | √ | √ |× | |
| 303 | +| bce-reranker | √ | √ |× | |
| 304 | +| bce-embedding | √ | √ |× | |
| 305 | +| puff | √ | √ |× | |
| 306 | +| piccolo-base-zh-embedding | √ | √ |× | |
| 307 | +| acge_text_embedding | √ | √ |× | |
| 308 | +| Yinka | √ | √ |× | |
| 309 | +| zpoint_large_embedding_zh | √ | √ |× | |
| 310 | +| xiaobu-embedding | √ | √ |× | |
| 311 | +| Conan-embedding-v1 | √ | √ |× | |
| 312 | +| qwen3-embedding | √ | √ |√ | |
| 313 | +| ritrieve_zh_v1 | √ | √ |× | |
| 314 | +| KoalaAI/Text-Moderation(文本审核/多分类,审核文本是否存在暴力、色情等) | × | √ |× | |
| 315 | +| protectai/deberta-v3-base-prompt-injection-v2(提示注入/2分类,审核文本为提示注入) | × | √ |× | |
315 | 316 |
|
316 | 317 | 目前 **ritrieve_zh_v1** C-MTEB榜单排行第一(MTEB: https://huggingface.co/spaces/mteb/leaderboard) |
317 | 318 |
|
|
0 commit comments