使用 Amazon Titan 轻松构建语义图像搜索

关键要点

在本篇文章中，我们将探讨如何利用 Amazon Titan 基础模型快速理解文章，并找到最适合的图像来陪衬。同样，我们会讨论如何通过机器学习技术，自动提取图像元数据，从而在内容发布领域快速生成和发布高质量的新内容。

数字出版商正在不断寻求简化和自动化他们的媒体工作流程，目的是尽可能快速地生成和发布新内容，同时又不影响质量。使用图像来捕捉文本的本质能显著改善阅读体验。

通过机器学习技术，您可以发现合适的图像。“一张引人注目的图像是捕捉受众注意力并与您的故事产生互动的最有效方式之一，但图像也必须有意义。”

解决方案概述

在接下来的图像中，您将看到如何通过输入一篇小文章，进行搜索并找到与之共鸣的图像。在这个例子中，您可以用来描述沃纳福戈尔穿着白丝绸围巾游历印度的句子。该句子的向量与沃纳穿围巾的图像向量在语义上相关，因此在搜索中返回为最佳图像。

从高层次来看，您会将图像上传到 Amazon S3，并提取元数据，包括图像的嵌入。为提取图像中的文本元数据，您将使用 Amazon Rekognition 的名人识别功能和标签检测功能。Rekognition 通过机器学习自动识别图像和视频中的知名人士，并将其元数据存储在 Amazon OpenSearch Service 中。

工作流程详细步骤

以下流程展示了如何完成此用例的操作步骤。

将图像上传到 Amazon S3 桶。Amazon EventBridge 监听此事件，然后触发 AWS Step Functions 步骤。Step Functions 步骤获取 Amazon S3 图像的详细信息，并并行执行三个操作：调用 Amazon Rekognition 的 DetectLabels API 来提取对象元数据调用 Amazon Rekognition 的 RecognizeCelebrities API 提取知名人物通过 AWS Lambda 函数，将图像调整为 ML 嵌入模型接受的最大尺寸，并直接生成来自图像输入的嵌入。Lambda 函数将图像元数据和名人名称如有及嵌入作为 kNN 向量插入到 OpenSearch Service 索引中。Amazon S3 托管一个简单的静态网站，并通过 Amazon CloudFront 进行分发，前端用户界面 (UI) 允许您使用 Amazon Cognito 进行身份认证以搜索图像。您通过 UI 提交一篇文章或一些文本。另一个 Lambda 函数调用 Amazon Comprehend 来检测文本中的任何名称作为潜在名人。函数总结文本，以提取文章的重点。生成总结文章的嵌入，使用 Amazon Titan Multimodal Embeddings 模型。函数在 OpenSearch Service 图像索引中搜索与名人名称匹配及通过 cosine similarity 技术计算的 k最近邻。Amazon CloudWatch 和 AWS XRay 使您对端到端工作流的可观察性提供警报。

轻云加速器

结论

通过本篇文章，您了解了如何使用 Amazon Rekognition、Amazon Comprehend、Amazon Bedrock 和 OpenSearch Service 提取图像的元数据，并利用机器学习技术自动发现密切相关内容。这在出版行业尤为重要，因为在快速发布新内容的同时，保持高质量至关重要。

作为下一步，您可以在自己的 AWS 账户中部署该解决方案，并上传一些自己的图像，测试语义搜索的方法。欢迎在评论区分享您的反馈。