mfoud444/ollamafreeapi

OllamaFreeAPI – 오픈소스 LLM 무료 액세스

이것은 무엇인가

• 공개 호스팅 엔드포인트 집합을 래핑하는 Python 패키지로, 여러 오픈소스 대규모 언어 모델(LLM)을 제공합니다. 이 라이브러리를 사용하면 chat 또는 stream_chat 메서드를 통해 이러한 모델을 호출할 수 있으며, 직접 모델을 실행하거나 유료 서비스에 가입할 필요가 없습니다.

주요 모델

• LLaMA 3.2(3b 파라미터)
• Mistral(최신 릴리스)
• DeepSeek-R1(Qwen 기반)
• Gemma 기반 gpt-oss:20b
• 몇 가지 더 작거나 특수한 모델(예: bakllava, smollm2).

사용 방법

from ollamafreeapi import OllamaFreeAPI
client = OllamaFreeAPI()
# 일회성 요청
resp = client.chat(model="gpt-oss:20b", prompt="5살 아이에게 신경망을 설명해줘")
print(resp)
# 스트리밍 요청
for chunk in client.stream_chat('양자 컴퓨팅이란 무엇인가요?', model='llama3.2:3b'):
    print(chunk, end='')

이 패키지는 엔드포인트 발견, 로드 밸런싱, 선택적 토큰 스트리밍을 처리합니다.

README에서 강조된 기능

• 항상 무료 – 서비스는 신용카드나 사용 제한이 없다고 주장합니다.
• 모델 카탈로그 – 3개 패밀리에 걸쳐 16개의 활성 모델, 6개의 서버 노드.
• 편리한 API – 모델 목록, 모델 정보, 서버 위치, 일반 LLM 매개변수 검색(LangChain 통합에 유용)을 위한 메서드.
• 문서 – 클라이언트 참조, 예제, 모델 목록, Android 사용자를 위한 Termux 가이드용 별도 마크다운 파일.

혜택을 받을 수 있는 대상

• 하드웨어를 준비하지 않고 오픈소스 LLM을 빠르게 실험하려는 개발자나 취미 개발자.
• 언어 모델 기능을 무료로 시연할 방법을 찾는 학생이나 교육자.
• 커뮤니티 운영 엔드포인트의 지연 시간과 신뢰성을 허용할 수 있는 소규모 프로젝트.

제한 사항 / 고려 사항

• 서비스는 커뮤니티 호스팅 노드에 의존합니다. 가동 시간과 성능은 보장되지 않습니다.
• 인증이나 사용량 할당량에 대한 언급이 없어 확장성에 영향을 줄 수 있습니다.
• README에는 속도 제한, 요청 크기 제한 또는 보안(예: TLS 검증)에 대한 세부 정보가 없습니다.

설치

pip install ollamafreeapi --upgrade

라이선스 – MIT. 클라이언트 코드를 자유롭게 사용하고 수정할 수 있습니다.

---

위의 모든 정보는 저장소의 README에서 직접 가져온 것입니다. 외부 가정은 추가되지 않았습니다.