aws-solutions/generative-ai-application-builder-on-aws

Generative AI Application Builder on AWS facilitates the development, rapid experimentation, and deployment of generative artificial intelligence (AI) applications without requiring deep experience in AI. The solution includes integrations with Amazon Bedrock and its included LLMs, such as Amazon Titan, and pre-built connectors for 3rd-party LLMs.

What it solves

本项目提供一个网页式管理仪表板，允许用户在 AWS 上快速部署、实验与将可自定义的生成式 AI 使用案例投入生产环境。它消除了为每个新 AI 应用需要手动进行基础设施建设的需要，使用户户可以使用不同的大型语言模型 (LLM) 并将其优化后整合到生产环境应用中。

How it works

该解决方案包含一个中央部署仪表板和单个的使用案例堆栈 (stack) :

  • Deployment Dashboard: 一个网页 UI (托管在 S3/CloudFront) ，允许管理员配置并启动 AI 使用案例。它使用 AWS Lambda 和 CloudFormation 来自动化创建所需的 AWS 资源。
  • Text Use Cases: 使用 LangChain 来编排请求。它实现了聊天机器人风格的界面，可以整合 Amazon Kendra 或 Knowledge Bases for Amazon Bedrock 以获得 RAG (Retrieval-Augmented Generation) 能力，在将提示词 (prompt) 发送到到 Amazon Bedrock 或 Amazon SageMaker AI 托管的 LLM 之前，先查询企业数据。
  • Agent Use Cases: 部署一个连接到 Amazon Bedrock Agents 的界面，以满足特定的用户意图。
  • Infrastructure: 使用 Amazon API Gateway (WebSockets 用于流式传输) 、 Amazon Cognito 用于身份验证，以及 Amazon DynamoDB 用于会话和配置管理。

Who it’s for

它设计给从新手到经验丰富的用户——包括 DevOps 工程师、管理员和业务用户——谁想要在 AWS 生态系统中快速原型化和扩展生成式 AI 应用。

Highlights

  • Rapid Experimentation: 能够部署并比较多种 LLM 组合，并通过 Amazon CloudWatch 追踪指标 (metric) .
  • Enterprise Ready: 支持针对真实业务问题的企业特定数据整合。
  • Flexible LLM Providers: 整合了 Amazon Bedrock and Amazon SageMaker AI.
  • Modular Architecture: 使用嵌套 CloudFormation 堆栈 (stack) 构建，以便于扩展。
  • RAG Support: 内建整合用于查询企业知识库。