离线推理¶

为了方便用户快速使用xLLM进行离线推理，我们提供了启动离线推理的python脚本例子

LLM¶

LLM推理示例： https://github.com/jd-opensource/xllm/blob/main/examples/generate.py

Embedding¶

生成Embedding示例： https://github.com/jd-opensource/xllm/blob/main/examples/generate_embedding.py

VLM¶

VLM推理示例： https://github.com/jd-opensource/xllm/blob/main/examples/generate_vlm.py