maritaca-ai/maritalk-api

What it solves

MariTalk API 提供对 Sabiá 系列大语言模型 (LLMs) 的访问，这些模型经过专门训练，比通用模型能更好地理解葡萄牙语和巴西语境。

How it works

该 API 设计为与 OpenAI API 兼容，允许用户将 Sabiá 模型（例如 sabia-4 和 sabiazinho-4）集成到使用 OpenAI 库的现有程序中。用户只需将 base_url 更改为 https://chat.maritaca.ai/api 并指定 Sabiá 模型名称即可。它支持标准的 LLM 功能，如聊天模式（system、user 和 assistant 角色）、用于长文本生成的流式响应（通过生成器和异步生成器）以及用于提高响应质量的 few-shot prompting。

Who it’s for

需要高质量葡萄牙语处理能力以及对巴西文化语境有深入理解的开发者。

Highlights

• OpenAI Compatibility: 与 OpenAI 的 Python 库无缝集成。
• Brazilian Portuguese Specialization: 针对葡萄牙语和巴西语境优化的模型。
• Streaming Support: 支持同步和异步流式传输，以实现更具响应性的应用程序。
• Token Counting Utility: 包含一个 maritalk Python 库，用于计算 token 数量以预测成本。
• On-Premises Option: 提供本地部署（MariTalk Local）的文档。