ashnkumar/sketch-code

Keras model to generate HTML code from hand-drawn website mockups. Implements an image captioning architecture to drawn source images.

解决的问题

将手绘的网站线框图转换为可运行的 HTML 代码，通过将视觉原型转换为标记语言，自动化前端开发流程的一部分。

工作原理

该项目使用基于图像字幕生成的深度学习架构。它采用 CNN 编码器处理图像，并使用 LSTM 解码器生成 HTML，就像为图像生成字幕一样。该模型在 1,700 张合成图像数据集上进行了训练。

适用人群

希望使用早期深度学习技术尝试从原型自动转换为代码的开发者和设计师。

主要亮点

  • 使用 CNN-LSTM 架构，将 HTML 生成视为图像字幕问题。
  • 支持图像到 HTML 的批量处理。
  • 包含从零开始训练模型或微调预训练权重的脚本。
  • 提供使用 BLEU 分数评估预测准确性的工具。

相关

  • 项目
    githubharald/SimpleHTR

    一个基于 TensorFlow 的手写文本识别系统，使用 CNN 和 LSTM 层将单词或文本行的图像转换为数字文本。

  • 项目
    plannotator/effective-html

    一组专门的智能体技能，使 AI 智能体能够创建自包含的 HTML 产物，如线框图、原型和图表，以实现更好的视觉沟通。

  • 项目
    paulpierre/markdown-crawler

    一个多线程网页爬虫，将网站页面转换为 markdown 文件，以简化 RAG 和 LLM 微调的文档解析与切分。

  • 项目
    BGU-CS-VIL/WTConv

    一个实现小波卷积的库，为 CNN 提供大感受野，配备针对 CUDA、Metal 和 Triton 优化的后端。

  • 项目
    CodeBoarding/CodeBoarding

    CodeBoarding 通过结合静态分析和 LLM 推理，为代码库创建可视化架构图和文档，帮助开发者和 AI 代理理解系统结构。