怎么做58网站吊车网网站5建设需要学什么

张

张建站

2026/4/9 1:45:02

10分钟阅读

怎么做58网站吊车网,网站5建设需要学什么,西安建设工程信息网人员信息,贵州网站建设维护SAM 3 是一个统一的基础模型，用于图像和视频中的可提示分割。它可以使用文本或视觉提示（如点、框和掩码）来检测、分割和跟踪对象。与它的前身 SAM 2 相比，SAM 3 引入了根据简短的文本短语或示例详尽地分割所有开放词汇概念实例的能力。与先前的工作不同，SAM 3 可以处理更大…SAM 3 是一个统一的基础模型，用于图像和视频中的可提示分割。它可以使用文本或视觉提示（如点、框和掩码）来检测、分割和跟踪对象。与它的前身SAM 2相比，SAM 3 引入了根据简短的文本短语或示例详尽地分割所有开放词汇概念实例的能力。与先前的工作不同，SAM 3 可以处理更大范围的开放词汇提示。在我们的新SA-CO 基准测试上，它达到了人类表现的 75-80%，该基准包含 27 万个独特概念，比现有基准多出 50 多倍。使用 SAM3 进行图像和视频分割官方代码已在sam3 仓库中公开发布。图像分割实现步骤加载 SAM3 图像模型并处理输入图像model = build_sam3_image_model() processor = Sam3Processor(model) image = Image.open("YOUR_IMAGE_PATH.jpg") inference_state = processor.set_image(image)设置文本提示并获取分割结果output = processor.set_text_prompt(state=inference_state, prompt="YOUR_TEXT_PROMPT") masks, boxes, scores = output["masks"], output["boxes"], output["scores"]视频分割实现步骤初始化视频预测器并创建会话video_predictor = build_sam3_video_predictor() response = video_predictor.handle_request( request=dict( type="start_session", resource_path="YOUR_VIDEO_PATH", ) )添加文本提示并获取输出response = video_predictor.handle_request( request=dict( type="add_prompt", session_id=response["session_id"], frame_index=0, text="YOUR_TEXT_PROMPT", ) ) output = response["outputs"]注意事项图像路径和视频路径需要替换为实际文件路径文本提示应具体描述需要分割的对象视频处理时 frame_index 可根据需要调整输出包含 masks, boxes 和 scores 等信息import torch #################################### For Image #################################### from PIL import Image from sam3.model_builder import build_sam3_image_model from sam3.model.sam3_image_processor import Sam3Processor # Load the model model = build_sam3_image_model() processor = Sam3Processor(model) # Load an image image = Image.open("YOUR_IMAGE_PATH.jpg") inference_state = processor.set_image(image) # Prompt the model with text output = processor.set_text_prompt(state=inference_state, prompt="YOUR_TEXT_PROMPT") # Get the masks, bounding boxes, and scores masks, boxes, scores = output["masks"], output["boxes"], output["scores"] #################################### For Video #################################### from sam3.model_builder import build_sam3_video_predictor video_predictor = build_sam3_video_predictor() video_path = "YOUR_VIDEO_PATH" # a JPEG folder or an MP4 video file # Start a session response = video_predictor.handle_request( request=dict( type="start_session", resource_path=video_path, ) ) response = video_predictor.handle_request( request=dict( type="add_prompt", session_id=response["session_id"], frame_index=0, # Arbitrary frame index text="YOUR_TEXT_PROMPT", ) ) output = response["outputs"]使用 🤗 TransformersSAM3 - 图像的可提示概念分割 (PCS)SAM3 对图像执行可提示概念分割 (PCS)，接受文本和/或图像示例作为提示，并返回图像中所有匹配对象实例的分割掩码。仅文本提示代码解析与说明以下代码展示了如何使用facebook/sam3模型进行基于文本提示的图像分割任务。该模型属于 Segment Anything Model (SAM) 系列，支持通过文本描述生成目标对象的掩码。环境准备确保已安装以下库：transformers（Hugging Face 库）torch（PyTorch）PIL（图像处理）requests（网络请求）关键步骤模型与处理器加载device = "cuda" if torch.cuda.is_available() else "cpu" model = Sam3Model.from_pretrained("facebook/sam3").to(device) processor = Sam3Processor.from_pretrained("facebook/sam3")自动检测 GPU 并设置设备。加载预训练模型和对应的处理器。图像加载image_url = "http://images.cocodataset.org/val2017/000000077595.jpg" image = Image.open(requests.get(image_url, stream=True).raw).convert("RGB")从 URL 加载图像并转换为 RGB 格式。文本提示分割inputs = processor(images=image, text="ear", return_tensors="pt").to(device) with torch.no_grad(): outputs = model(**inputs)使用处理器将图像和文本提示（如 "ear"）转换为模型输入张量。禁用梯度计算以提升推理速度。后处理与结果解析results = processor.post_process_instance_segmentation( outputs, threshold=0.5, mask_threshold=0.5, target_sizes=inputs.get("original_sizes").tolist() )[0]threshold: 置信度分数过滤阈值。mask_threshold: 二值化掩码的阈值。target_sizes: 将掩码还原到原始图像尺寸。输出结果print(f"Found {len(results['masks'])} objects")masks: 二值掩码（原始图像尺寸）。boxes: 边界框（xyxy 格式的绝对像素坐标）。scores: 每个检测结果的置信度分数。注意事项首次运行时会自动下载模型权重（约数 GB）。文本提示需简洁明确（如 "cat" 或 "car"）。调整threshold和mask_threshold可平衡精度与召回率。输入图像尺寸过大会导致显存不足，建议预处理时调整尺寸。您可以使用如下简单的辅助工具显示掩码：代码功能解析该代码实现的功能是将多个掩码（masks）以半透明颜色叠加到原始图像上，生成可视化效果。主要用于图像分割或目标检测任务的结果展示。主要步骤说明图像格式转换将输入的image转换为RGBA格式，确保支持透明度通道：image = image.convert("RGBA")掩码数据预处理将GPU上的掩码张量转换为0-255范围的numpy数组：masks = 255 * masks.cpu().numpy().astype(np.uint8)颜色映射生成使用matplotlib的彩虹色系创建与掩码数量匹配的颜色列表：cmap = matplotlib.colormaps.get_cmap("rainbow").resampled(n_masks) colors = [tuple(int(c * 255) for c in cmap(i)[:3]) for i in range(n_masks)]掩码叠加处理对每个掩码进行以下操作：转换为PIL图像格式创建与掩码同尺寸的纯色叠加层设置透明度（alpha值为原始掩码值的50%）与原图进行alpha合成for mask, color in zip(masks, colors): mask = Image.fromarray(mask) overlay = Image.new("RGBA", image.size, color + (0,)) alpha = mask.point(lambda v: int(v * 0.5)) overlay.putalpha(alpha) image = Image.alpha_composite(image, overlay)改进建议颜色区分优化当掩码数量较多时，彩虹色系可能导致相邻目标颜色相近。可改用离散色系：cmap = matplotlib.colormaps.get_cmap("tab20").resampled(n_masks)性能优化对于大批量处理，建议使用向量化操作替代循环：combined_mask = np.max(masks, axis=0) overlay = Image.new("RGBA", image.size, (0,0,0,0)) for mask, color in zip(masks, colors): colored_mask = np.dstack([np.full_like(mask, c) for c in color] + [mask*0.5]) overlay = Image.alpha_composite(overlay, Image.fromarray(colored_mask, 'RGBA'))透明度控制当前固定使用50%透明度，可改为可调参数：def overlay_masks(image, masks, alpha=0.5): ... alpha = mask.point(lambda v: int(v * alpha))然后您可以保存生成的合成图像或在笔记本中显示它： overlay_masks(image, results["masks"])单个边界框提示使用边界框分割对象：使用边界框分割对象指南边界框分割是一种常见的计算机视觉任务，它通过指定图像中对象的矩形区域（边界框）来引导模型生成精确的分割掩码。这种方法常用于实例分割，例如在图像中识别并分割特定物体（如示例中的笔记本电脑）。以下我将逐步解析您提供的代码片段，帮助您理解如何使用边界框进行对象分割。整个过程基于PyTorch框架，使用一个预训练的分割模型（如Segment Anything Model或类似架构）。1.边界框的定义在代码中，边界框使用xyxy格式表示，即左上角坐标(x1, y1)和右下角坐标(x2, y2)，单位为像素。例如：box_xyxy = [100, 150, 500, 450]定义了图像中一个笔记本电脑的区域。边界框存储在input_boxes中，其形状为[batch, num_boxes, 4]。这意味着可以处理多个图像（batch）和每个图像中的多个边界框（num_boxes）。在示例中，只使用了一个边界框：input_boxes = [[box_xyxy]] # [batch=1, num_boxes=1, 4]同时，input_boxes_labels = [[1]]指定了边界框的标签，其中1表示正样本（即该框内的对象需要被分割），0表示负样本（背景或不需要分割的区域）。2.输入数据的处理使用一个processor对象（通常是一个图像处理器，如来自Hugging Face Transformers库的处理器）将原始图像、边界框和标签转换为模型可接受的张量格式。关键步骤包括：images=image: 输入原始图像数据（image应为PIL图像或NumPy数组）。input_boxes和input_boxes_labels: 提供边界框及其标签。return_tensors="pt": 指定返回PyTorch张量。.to(device): 将张量移动到指定设备（如GPU）。代码示例：inputs = processor( images=image, input_boxes=input_boxes, input_boxes_labels=input_boxes_labels, return_tensors="pt" ).to(device)这里，processor负责归一化图像、调整大小，并将边界框转换为模型输入格式（例如，添加位置编码）。3.模型推理在推理阶段，使用torch.no_grad()上下文管理器来禁用梯度计算，以提高效率并减少内存消耗。模型（model）接受处理后的输入，并输出分割相关的 logits 或 embeddings：with torch.no_grad(): outputs = model(**inputs)outputs通常包含预测的分割掩码、类别分数等信息，具体取决于模型架构。4.后处理结果后处理步骤使用processor.