使用嵌入模型

在本部分，我们使用此模型并对其进行基本调用。

通过 REST API 使用此模型

将 MedImageInsight 嵌入模型用作 REST API，方法是使用简单的 GET 请求或创建客户端，如下所示：

from azure.ai.ml import MLClient
from azure.identity import DefaultAzureCredential
credential = DefaultAzureCredential()
ml_client_workspace = MLClient.from_config(credential)
在部署配置中，选择身份验证方法。 此示例使用基于 Azure 机器学习令牌的身份验证。 如需更多身份验证选项，请参阅相应的文档页。 此外，客户端是从为 Azure 机器学习虚拟机（VM）自动创建的配置文件创建的。 请在相应的 API 文档页上了解详细信息。
对模型进行基本调用
部署模型后，使用以下代码发送数据并获取嵌入内容。
import base64
import json
import os
endpoint_name = "medimageinsight"
deployment_name = "medimageinsight-v1"
sample_image_xray = os.path.join(image_path)
def read_image(image_path):
    with open(image_path, "rb") as f:
        return f.read()
data = {
    "input_data": {
        "columns": ["image", "text"],
        #  IMPORTANT: Modify the index as needed
        "index": [0],
        "data": [
                base64.encodebytes(read_image(sample_image_xray)).decode("utf-8"),
                "x-ray chest anteroposterior Pneumonia",
    "params": {"get_scaling_factor": True},
# Create request json
request_file_name = "sample_request_data.json"
with open(request_file_name, "w") as request_file:
    json.dump(data, request_file)
response = ml_client_workspace.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment_name,
    request_file=request_file_name,
使用 MedImageInsight REST API
MedImageInsight 模型适用于简单的单轮交互。 一个请求获取一个响应。
请求有效负载是 JSON 格式的字符串，其中包含以下参数：
必需/默认
DESCRIPTION
        "data": [
                "iVBORw0KGgoAAAANSUhEUgAAAAIAAAACCAYAAABytg0kAAAAAXNSR0IArs4c6QAAAARnQU1BAACx\njwv8YQUAAAAJcEhZcwAAFiUAABYlAUlSJPAAAAAbSURBVBhXY/gUoPS/fhfDfwaGJe///9/J8B8A\nVGwJ5VDvPeYAAAAASUVORK5CYII=\n",
                "x-ray chest anteroposterior Pleural Effusion"
    "params": {
        "get_scaling_factor": "true"
响应有效负载是 JSON 格式的字符串，其中包含以下字段：
DESCRIPTION
              一个请求嵌入单个字符串的简单推理

  "image_features": [[0.029661938548088074, -0.027228673920035362, ... , -0.0328846238553524]],
  "text_features": [[0.0028937323950231075, 0.004354152828454971, -0.0227945726364851, ..., 0.002080598147585988]],
  "scaling_factor": 4.516357
其他实现注意事项
输入字符串中处理的最大令牌数为 77。 在将输入传递到模型之前，系统会删除任何超过 77 的标记。 模型使用对比度 Language-Image 预训练（CLIP）标记器，每个标记使用大约三个拉丁字符。
模型将提交的文本嵌入到图像所在的同一个潜伏空间中。 因此，描述通过某些成像形式获取的某些身体部位的医疗影像的字符串会嵌入到此类影像附近。 此外，在 MedImageInsight 模型的基础上生成系统时，请确保所有嵌入字符串彼此一致（单词顺序和标点符号）。 为了获得基本模型的最佳结果，字符串应遵循模式<image modality> <anatomy> <exam parameters> <condition/pathology>.，例如： x-ray chest anteroposterior Atelectasis.
如果微调模型，可以更改这些参数，以便更好地满足应用程序需求。
支持的图像格式
部署的模型 API 支持以 PNG 格式编码的图像。
当模型收到图像时，它会通过压缩图像并将其大小调整为 512x512 像素来预处理图像。
首选压缩格式是无损 PNG，包含 8 位单色或 RGB 图像。 出于优化目的，可以在客户端执行大小调整以减少流量。
参阅示例，了解详细信息
MedImageInsight 是一种通用模型，可应用于各种任务和图像处理形式。 有关使用 MedImageInsight 解决各种任务的更具体示例，请参阅以下交互式 Python 笔记本。
              部署和使用 MedImageInsight：了解如何以编程方式部署 MedImageInsight 模型，并向其发出 API 调用。