ashnkumar/sketch-code

Keras model to generate HTML code from hand-drawn website mockups. Implements an image captioning architecture to drawn source images.

解決的問題

將手繪的網站線框圖轉換為可執行的 HTML 程式碼，透過將視覺原型轉換為標記語言，自動化前端開發流程的一部分。

工作原理

本專案使用基於影像字幕生成的深度學習架構。它採用 CNN 編碼器處理影像，並使用 LSTM 解碼器生成 HTML，如同為影像生成字幕一般。該模型在 1,700 張合成影像資料集上進行訓練。

適用對象

希望使用早期深度學習技術嘗試從原型自動轉換為程式碼的開發者與設計師。

主要亮點

  • 使用 CNN-LSTM 架構，將 HTML 生成視為影像字幕問題。
  • 支援影像到 HTML 的批次處理。
  • 包含從零開始訓練模型或微調預訓練權重的指令碼。
  • 提供使用 BLEU 分數評估預測準確性的工具。

相關

  • 專案
    githubharald/SimpleHTR

    一個基於 TensorFlow 的手寫文字辨識系統，使用 CNN 與 LSTM 層將單字或文字行的影像轉換為數位文字。

  • 專案
    plannotator/effective-html

    一組專門的智能體技能，使 AI 智能體能夠創建自包含的 HTML 產物，如線框圖、原型和圖表，以實現更好的視覺溝通。

  • 專案
    paulpierre/markdown-crawler

    一個多執行緒的網頁爬蟲，將網站頁面轉換為 markdown 檔案，以簡化 RAG 與 LLM 微調的文件解析與切分。

  • 專案
    BGU-CS-VIL/WTConv

    一個實現小波卷積的函式庫，為 CNN 提供大感受野，並配備針對 CUDA、Metal 和 Triton 優化的後端。

  • 專案
    CodeBoarding/CodeBoarding

    CodeBoarding 結合靜態分析與 LLM 推理，為程式碼庫建立視覺化架構圖與文件，協助開發者與 AI 代理理解系統結構。