将算法推理函数封装成Restful API

前言

如���要快速构建一个算法应用，便于用户在线体验算法推理效果，采用gradio是个不错的选择。然而，要集成到业务程序中，比如要支持java等语言去调用（发送请求，获取到推理结果），此时便需要将算法推理函数封装成Restful API。这里，简单总结下快速封装Restful API的步骤。

（）

假如有个需求：

业务端要做一个演示程序，里面包含一个目标检测算法，算法人员如何将自己跑在GPU服务器上的算法程序交付给业务人员呢？

（）

解决思路：

将算法推理函数封装成Restful API；

如果算法推理用python实现，web框架可采用Flask或FastAPI；

将算法和服务运行环境封装到docker镜像中，通过docker-compose启动。

步骤

1、首先，确保安装了 FastAPI 和 Uvicorn：

pip install fastapi pip install uvicorn

2、创建一个 Python 文件（例如 main.py），

• 导入 FastAPI、Pydantic 和一些必要的模块：
• 定义 Pydantic 模型类，用于接收 POST 请求中的数据：
• 编写算法逻辑：
• 定义路由和处理函数，比如接收图片和字符串，并调用算法推理逻辑，返回算法推理结果：
• 使用 Uvicorn 启动应用程序：

  from fastapi import FastAPI, UploadFile, File from pydantic import BaseModel app = FastAPI()# 定义 Pydantic 模型类，用于接收 POST 请求中的数据：class InferenceRequest(BaseModel):     image: bytes     text: str# 编写算法推理逻辑，这里以一个简单的示例为例：def perform_inference(image_data: bytes, text: str) -> str:     # 这里是你的算法推理逻辑，可以根据实际需求进行填充     return f"Received image with {len(image_data)} bytes and text: {text}"# 定义路由接口和处理函数，接收图片和字符串，并调用算法推理逻辑：@app.post("/predict") async def predict(data: InferenceRequest):     result = perform_inference(data.image, data.text)     return {"result": result}# 使用 Uvicorn 启动应用程序：if __name__ == '__main__':    uvicorn.run(        app='main:app',        host='0.0.0.0',        port=9898,        reload=True    )

  3、docker-compose启动服务

  docker-compose up -d --build 

  docker-compose.yml 文件如下：

  version: '3'services:  app_backend:    image: {image name}:{image tag}    volumes:      - $PWD/app-backend:/app-backend    ports:      - 9898:9898    restart: always    command: python /app-backend/main.py

  测试

  现在，你可以使用任何 HTTP 客户端发送 POST 请求到 /predict 接口，并传递一张图片和一个字符串作为参数。记得将图片数据转换为字节流传输。以下是一个简单的示例代码，使用 Python 的 requests 库发送请求：

  import requestsurl = "http://localhost:9898/predict"image_path = "path/to/your/image.jpg"image_data = open(image_path, 'rb').read()text_data = "phone"data = {"image": image_data, "text": text_data}response = requests.post(url, files={"data": ("data", json.dumps(data), "application/json")})print(response.json())