Szybki start: Zintegruj LLM bez cenzury w swojej aplikacji OCR

Wymagania wstępne: Klucz API i URL bazowy

Przed wysłaniem jakichkolwiek zapytań potrzebujesz klucza API i poprawnego adresu bazowego. Zarejestruj się na stronie Uzyskaj klucz API podając tylko e-mail i hasło. Twój klucz pojawi się natychmiast po rejestracji, a do próby nie jest wymagana karta kredytowa.

Podstawowy adres URL tego API to https://api.llmocrapi.com/v1. Ten endpoint jest kompatybilny ze standardowymi SDK OpenAI. Musisz skonfigurować klienta tak, aby używał tego podstawowego adresu URL i dołączał swój klucz API w nagłówku Authorization. Identyfikator modelu, którego będziesz używać we wszystkich zapytaniach, to uncensored, który działa na naszych serwerach GPU i jest zaprojektowany tak, aby przetwarzać surowe wyodrębnianie tekstu bez odmowy dostarczania treści dla dorosłych zgodnych z prawem lub kontrowersyjnych.

Podstawowe zapytanie o ekstrakcję tekstu

Zacznij od wysłania prostego zapytania o uzupełnienie czatu, aby przetestować połączenie. Ten endpoint przyjmuje dane wejściowe tekstowe i zwraca wyodrębniony lub oczyszczony tekst. Użyj endpointa POST /v1/chat/completions z modelem uncensored. Upewnij się, że ciało zapytania zawiera treść wiadomości i identyfikator modelu.

To podstawowe zapytanie weryfikuje, czy Twój klucz API działa i czy model bez cenzury odpowiada zgodnie z oczekiwaniami. Jest to pierwszy krok w budowaniu potoku post-processingu OCR.

Copycurl https://api.llmocrapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Jeśli otrzymasz odpowiedź z choices zawierającą tekst, Twoja integracja powiodła się. Jeśli otrzymasz błąd 401, sprawdź swój klucz API. Jeśli otrzymasz błąd 402, być może będziesz musiał doładować przedpłacony kredyt.

Integracja z Python SDK

Dla programistów Pythona zalecaną metodą jest użycie oficjalnego SDK OpenAI. Zainstaluj pakiet openai i skonfiguruj URL bazowy wskazujący na nasze API. Pozwoli to Ci używać znanych metod takich jak chat.completions.create().

Ustaw parametr base_url na https://api.llmocrapi.com/v1 i przekaż swój klucz API. Dzięki temu wszystkie zapytania będą poprawnie kierowane do naszego modelu bez cenzury. Możesz następnie przesłać tekst wyekstrakowany przez OCR jako wiadomość użytkownika i zdefiniować prompt systemowy, aby instruować model, jak czyścić lub podsumowywać dane.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmocrapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Ta metoda jest idealna do przetwarzania wsadowego dokumentów, w którym strumieniowanie nie jest wymagane. Zapewnia prosty sposób integracji LLM w istniejących skryptach OCR Python.

Integracja z Node SDK

Programiści Node.js mogą również używać SDK OpenAI do interakcji z API. Zainstaluj pakiet openai dla Node i skonfiguruj URL bazowy podobnie jak w konfiguracji Python. Pozwoli to Ci wykorzystać ten sam endpoint chat.completions znaną składnią JavaScript.

Skonfiguruj klienta swoim kluczem API i URL bazowym https://api.llmocrapi.com/v1. Zapewni to kompatybilność z istniejącymi aplikacjami Node.js. Następnie możesz wysyłać zapytania w celu ekstrakcji lub podsumowania tekstu z potoku OCR.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmocrapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

To podejście jest odpowiednie do przetwarzania po stronie serwera w środowiskach Node, pozwalając na efektywne przetwarzanie wyników OCR bez opuszczania ekosystemu Node.

Strumieniowanie odpowiedzi dla dużych dokumentów

Podczas przetwarzania dużych dokumentów strumieniowanie odpowiedzi może poprawić doświadczenie użytkownika, dostarczając tekst w fragmentach, gdy jest generowany. Użyj parametru stream: true w zapytaniu, aby włączyć zdarzenia wysyłane serwerowo (SSE). Pozwoli to na przetwarzanie tekstu w czasie rzeczywistym, co jest przydatne dla długich wyników OCR lub przy wyświetlaniu postępu użytkownikom.

Strumieniowanie pomaga zarządzać zużyciem pamięci, nie wymagając trzymania całej odpowiedzi w pamięci przed przetwarzaniem. Jest szczególnie przydatne dla dokumentów z dużą ilością tekstu, które w przeciwnym razie mogą powodować opóźnienia.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Upewnij się, że Twój klient poprawnie obsługuje zdarzenia SSE do parsowania przyrostowych fragmentów tekstu. Ta metoda jest idealna dla aplikacji wymagających informacji zwrotnej w czasie rzeczywistym podczas etapu post-processingu OCR.

Limity zapytań, błędy i okna kontekstu

Bądź świadomy limitów API, aby uniknąć przerw w usłudze. Limit wynosi 300 zapytań na minutę na klucz API. Ciało każdego zapytania nie może przekraczać 8 MB. Jeśli przekroczysz limit zapytań, otrzymasz błąd 429. Upewnij się, że Twoja aplikacja implementuje wykładnicze opóźnienie ponownych prób, aby obsłużyć te błędy w sposób elegancki.

Okno kontekstu wynosi 100 000 tokenów dla promptu i generacji łącznie. Jeśli wynik OCR przekracza ten limit, może być konieczne podzielenie dokumentu lub obcięcie wcześniejszych części. Powszechne błędy to 401 dla nieprawidłowych kluczy, 402 za niewystarczający kredyt i 429 za limity zapytań. Monitoruj swoje użycie i doładuj przedpłacony kredyt według potrzeb, aby utrzymać nieprzerwaną usługę.