시작하기: OCR 앱에 무검열 LLM 통합

사전 준비: API 키 및 기본 URL

요청을 보내기 전에 API 키와 올바른 기본 URL이 필요합니다. 이메일과 비밀번호만으로 API 키 받기 페이지에서 가입하세요. 키는 가입 직후 표시되며 무료 체험에는 신용카드가 필요하지 않습니다.

이 API의 기본 URL은 https://api.llmocrapi.com/v1입니다. 이 엔드포인트는 표준 OpenAI SDK와 호환됩니다. 클라이언트를 구성하여 이 기본 URL을 사용하고 Authorization 헤더에 API 키를 포함해야 합니다. 모든 요청에 사용할 모델 식별자는 uncensored이며, 이는 자체 GPU 서버에서 실행되며 합법적인 성인 콘텐츠나 논쟁적인 콘텐츠에 대한 거부 없이 원본 텍스트 추출을 처리하도록 설계되었습니다.

기본 텍스트 추출 요청

연결을 테스트하기 위해 간단한 채팅 완성 요청을 보내세요. 이 엔드포인트는 텍스트 입력을 받아 추출되거나 정리된 텍스트를 반환합니다. POST /v1/chat/completions 엔드포인트를 uncensored 모델과 함께 사용하세요. 요청 본문에 메시지 내용과 모델 ID가 포함되어 있는지 확인하세요.

이 기본 요청은 API 키가 작동하고 무검열 모델이 예상대로 응답하는지 확인합니다. 이는 OCR 후처리 파이프라인을 구축하는 첫 단계입니다.

Copycurl https://api.llmocrapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

choices에 텍스트가 포함된 응답을 받으면 통합이 성공한 것입니다. 401 오류가 발생하면 API 키를 확인하세요. 402 오류가 발생하면 선불 크레딧을 추가해야 할 수 있습니다.

Python SDK 통합

Python 개발자의 경우 공식 OpenAI SDK를 사용하는 것이 권장됩니다. openai 패키지를 설치하고 기본 URL을 우리 API를 가리키도록 구성하세요. 이렇게 하면 chat.completions.create()과 같은 익숙한 메서드를 사용할 수 있습니다.

base_url 매개변수를 https://api.llmocrapi.com/v1로 설정하고 API 키를 전달하세요. 이렇게 하면 모든 요청이 무검열 모델로 올바르게 라우팅됩니다. 그런 다음 OCR 추출 텍스트를 사용자 메시지로 보내고, 데이터를 정리하거나 요약하는 방법을 모델에 지시하는 시스템 프롬프트를 정의할 수 있습니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmocrapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

이 방법은 스트리밍이 필요 없는 문서 배치 처리에 이상적입니다. 이는 기존 Python OCR 스크립트에 LLM을 통합하는 간단한 방법을 제공합니다.

Node SDK 통합

Node.js 개발자도 OpenAI SDK를 사용하여 API와 상호 작용할 수 있습니다. Node용 openai 패키지를 설치하고 Python 설정과 유사하게 기본 URL을 구성하세요. 이렇게 하면 익숙한 JavaScript 구문과 함께 동일한 chat.completions 엔드포인트를 활용할 수 있습니다.

클라이언트를 API 키와 기본 URL https://api.llmocrapi.com/v1로 구성하세요. 이렇게 하면 기존 Node.js 애플리케이션과 호환됩니다. 그런 다음 OCR 파이프라인에서 텍스트를 추출하거나 요약하기 위한 요청을 보낼 수 있습니다.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmocrapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

이 접근 방식은 Node 환경에서의 서버 측 처리에 적합하며, Node 생태계를 벗어나지 않고 OCR 출력을 효율적으로 처리할 수 있게 해줍니다.

대용량 문서용 스트리밍 응답

대용량 문서를 처리할 때 스트리밍 응답은 생성되는 대로 텍스트를 청크로 제공하여 사용자 경험을 향상시킬 수 있습니다. 요청에서 stream: true 매개변수를 사용하여 서버 전송 이벤트(SSE)를 활성화하세요. 이렇게 하면 긴 OCR 출력이나 사용자에게 진행 상황을 표시할 때 유용한 실시간 텍스트 처리가 가능합니다.

스트리밍은 처리 전에 전체 응답을 메모리에 유지할 필요가 없으므로 메모리 사용량을 관리하는 데 도움이 됩니다. 이는 지연 시간 문제를 유발할 수 있는 상당한 텍스트가 있는 문서에 특히 유용합니다.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

클라이언트가 SSE 이벤트를 올바르게 처리하여 증분 텍스트 청크를 구문 분석하도록 하세요. 이 방법은 OCR 후처리 단계에서 실시간 피드백이 필요한 애플리케이션에 이상적입니다.

속도 제한, 오류 및 컨텍스트 창

서비스 중단 방지를 위해 API 제한을 인지하세요. API 키당 분당 300개의 요청으로 제한됩니다. 각 요청 본문은 8 MB를 초과할 수 없습니다. 속도 제한을 초과하면 429 오류가 발생합니다. 이러한 오류를 우아하게 처리하기 위해 애플리케이션에 지수 백오프를 구현해야 합니다.

컨텍스트 창은 프롬프트와 완성을 합쳐 100,000 토큰입니다. OCR 출력이 이 제한을 초과하면 문서를 분할하거나 이전 부분을 잘라내야 할 수 있습니다. 일반적인 오류에는 유효하지 않은 키에 대한 401, 크레딧 부족에 대한 402, 속도 제한에 대한 429가 포함됩니다. 사용량을 모니터링하고 중단 없는 서비스를 유지하기 위해 필요한 경우 선불 크레딧을 추가하세요.