aws-solutions/generative-ai-application-builder-on-aws

Generative AI Application Builder on AWS facilitates the development, rapid experimentation, and deployment of generative artificial intelligence (AI) applications without requiring deep experience in AI. The solution includes integrations with Amazon Bedrock and its included LLMs, such as Amazon Titan, and pre-built connectors for 3rd-party LLMs.

What it solves

本專案提供一個網頁式管理儀表板，讓使用者能夠在 AWS 上快速部署、實驗與將可自定義的生成式 AI 使用案例投入生產環境。它消除了為每個新 AI 應用程式進行手動基礎設施設定的需要，讓使用者能夠比較不同的大型語言模型 (LLM) 並在優化後將其整合至生產環境應用程式中。

How it works

此解決方案由一個中央部署儀表板與個別的使用案例堆疊 (stack) 組成：

  • Deployment Dashboard: 一個網頁 UI (託管於 S3/CloudFront) ，讓管理員可以配置與啟動 AI 使用案例。它使用 AWS Lambda 與 CloudFormation 來自動化建立所需的 AWS 資源。
  • Text Use Cases: 使用 LangChain 來編排請求，實作了聊天機器人風格的介面。它可以整合 Amazon Kendra 或 Knowledge Bases for Amazon Bedrock 以獲得 RAG (Retrieval-Augmented Generation) 能力，在將提示詞 (prompt) 發送至託管於 Amazon Bedrock 或 Amazon SageMaker AI 的 LLM 之前，先查詢企管數據。
  • Agent Use Cases: 部署一個連接至 Amazon Bedrock Agents 的介面，以滿足特定的使用者意圖。
  • Infrastructure: 使用 Amazon API Gateway (WebSockets 用於串流) 、 Amazon Cognito 與 Amazon DynamoDB 用於會話與配置管理。

Who it’s for

它設計給從新手到經驗豐富的使用者——包括 DevOps 工程師、管理員與業務使用者的——誰想要在 AWS 生態系統中快速原型化與擴展生成式 AI 應用程式。

Highlights

  • Rapid Experimentation: 能夠部署與比較多種 LLM 組合，並透過 Amazon CloudWatch 進行指標 (metric) 追蹤。
  • Enterprise Ready: 支援針對真實業務問題的企業特定數據整合。
  • Flexible LLM Providers: 整合了 Amazon Bedrock 與 Amazon SageMaker AI。
  • Modular Architecture: 使用巢狀 CloudFormation 堆疊 (stack) 構建，以便於擴展。
  • RAG Support: 內建整合用於查詢企管數據庫。