RU ▾

Безцензурная LLM для постобработки OCRhttps://api.llmocrapi.com/v1

llmocrapi.comГайд

Интеграция OCR API: примеры кода на Python и Node

Интеграция OCR API здесь означает добавление одного HTTP-запроса после вашего OCR-движка: вы отправляете сырой распознанный текст и получаете очищенный текст. Эндпоинт совместим с OpenAI, поэтому SDK, который у вас, вероятно, уже есть, работает после изменения двух настроек.

Обновлено

Изометрический конвейер, переносящий разрозненные блоки через узел обработки в аккуратные архивные стопки

Ключевые моменты

  • Установите базовый URL на https://api.llmocrapi.com/v1, используйте идентификатор модели uncensored и передавайте ключ как Bearer-токен.
  • API принимает только текст. Сначала запустите свой OCR-движок и передайте его вывод в качестве сообщения пользователя.
  • JSON-режим возвращает результаты, машиночитаемые, а небольшой пул потоков из 8 воркеров поддерживает высокую скорость пакетной обработки.
  • Ответ 429 — это сигнал подождать и повторить запрос, а не ошибка: неудачные запросы не оплачиваются.

Где вызов вписывается в конвейер

Типичный поток документов состоит из четырех шагов. Сканер или камера телефона создает изображение, OCR-движок преобразует изображение в сырой текст, этап очистки восстанавливает этот текст, а ваше приложение сохраняет или ищет результат. Описанный здесь API — это третий шаг. Он никогда не видит изображение и не принимает изображение на входе. Это преимущество, когда важна конфиденциальность исходных сканов, так как с вашего устройства уходит только текст, и это ограничение, если вы ожидали единый эндпоинт для обработки изображений.

Промпты не используются для обучения. Тем не менее, отправляйте только то, что нужно задаче: удалите номера счетов или имена перед вызовом, если очистка не зависит от них.

Прежде чем писать код, получите API-ключ. Новые пользователи могут одним кликом на этой странице получить пробный баланс в размере $0,50 после регистрации; этого хватит, чтобы запустить каждый пример ниже много раз. Пробный ключ позволяет выполнять 2 параллельных запроса и 60 запросов в минуту; полный ключ — 8 и 300.

Настройки, которые вам нужны

НастройкаЗначение
Базовый URLhttps://api.llmocrapi.com/v1
ЭндпоинтPOST /v1/chat/completions
ID моделиuncensored
Заголовок авторизацииAuthorization: Bearer YOUR_KEY
Контекстное окно100 000 токенов, промпт плюс завершение

Храните ключ в переменной окружения, а не в системе контроля версий. Примеры читают LLMOCR_API_KEY.

Два практических совета перед началом. Храните ключ вдали от кода фронтенда, так как любой код, доставленный в браузер, может быть прочитан его пользователями; вызывайте API с сервера или воркера. Также заранее решите, где будут храниться сырой OCR-текст и очищенный текст, потому что очищенный вывод — это файл, который вы будете искать, индексировать и показывать людям, в то время как сырой текст служит доказательством, если когда-нибудь возникнут вопросы к исправлениям.

Первый запрос с curl

Начните с curl, чтобы увидеть сырую форму запроса до того, как SDK скроет её. Пример ниже — типичный поврежденный фрагмент OCR: дефис, разбитый переносом строки, буква, спутанная с цифрой, и случайный номер страницы.

curl https://api.llmocrapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLMOCR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "temperature": 0,
    "messages": [
      {"role": "system", "content": "You repair raw OCR text. Fix broken words, rejoin hyphenated line breaks, remove page numbers. Return only the corrected text."},
      {"role": "user", "content": "The inven-\ntory was com1leted on Tuesday.\n\n- 14 -\n\nA second ship-\nment arrived."}
    ]
  }'

Ответ соответствует стандартному формату chat completion. Очищенный текст находится в choices[0].message.content, а usage сообщает токены промпта и завершения для вызова. Установите temperature в 0 для очистки. Вы хотите, чтобы одинаковый ввод давал одинаковый вывод, а не творческое разнообразие.

Python с SDK OpenAI

Установите SDK с помощью pip install openai. Отличается только конструктор от стандартной настройки OpenAI.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmocrapi.com/v1",
    api_key=os.environ["LLMOCR_API_KEY"],
    max_retries=4,
)

SYSTEM = (
    "You repair raw OCR text. Fix broken words, rejoin hyphenated line breaks, "
    "remove page numbers and running headers. Do not add or remove facts. "
    "Return only the corrected text."
)

def clean(raw: str) -> str:
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0,
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": raw},
        ],
    )
    return resp.choices[0].message.content

print(clean("The inven-\ntory was com1leted on Tuesday."))

Аргумент max_retries указывает SDK повторять запросы при ошибках соединения и ответах 429 с задержкой, поэтому для лёгкой нагрузки вам не нужно писать этот цикл самостоятельно.

Пример на Node.js

С помощью npm install openai и ES-модуля тот же вызов выглядит так.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llmocrapi.com/v1",
  apiKey: process.env.LLMOCR_API_KEY,
});

export async function clean(raw) {
  const resp = await client.chat.completions.create({
    model: "uncensored",
    temperature: 0,
    messages: [
      { role: "system", content: "Repair raw OCR text. Return only the corrected text." },
      { role: "user", content: raw },
    ],
  });
  return resp.choices[0].message.content;
}

console.log(await clean("A second ship-\nment arrived."));

Любое, что поддерживает формат чата OpenAI, например, no-code инструмент автоматизации или существующая внутренняя обёртка, может использовать те же две настройки. Документация перечисляет все поддерживаемые параметры.

Структурированный вывод с JSON-режимом

Свободный текст подходит для архивов, но конвейеры извлечения данных требуют полей. Включите JSON-режим с помощью response_format и опишите желаемую форму в промпте. Запрос JSON в инструкциях, а также в настройке дает наиболее надежные результаты.

import json

resp = client.chat.completions.create(
    model="uncensored",
    temperature=0,
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": (
            "Clean the OCR text of a receipt and answer in JSON with keys "
            "'vendor' (string), 'date' (YYYY-MM-DD or null), 'total' (number or null), "
            "'cleaned_text' (string)."
        )},
        {"role": "user", "content": raw_receipt_text},
    ],
)
data = json.loads(resp.choices[0].message.content)

Всегда оборачивайте json.loads в блок try и сохраняйте исходный текст, так как очень длинный или усечённый ответ всё ещё может выдать некорректный JSON. Если парсинг не удался, повторите попытку один раз, а затем поставьте страницу в очередь на ручную проверку.

Обработка пакета параллельно

Один запрос за раз слишком медленен для тысяч страниц. Полный ключ позволяет выполнять 8 параллельных запросов, поэтому пул из 6 или 8 воркеров не превысит лимит. Оставьте небольшой запас, если тот же ключ используется другими процессами.

from concurrent.futures import ThreadPoolExecutor

pages = [open(f"ocr/page_{i:04d}.txt").read() for i in range(1, 501)]

with ThreadPoolExecutor(max_workers=6) as pool:
    cleaned = list(pool.map(clean, pages))

for i, text in enumerate(cleaned, start=1):
    open(f"clean/page_{i:04d}.txt", "w").write(text)

Если вы превысите лимит, API вернет HTTP 429. Код ошибки rate_limited означает слишком много запросов в минуту, а concurrency означает слишком много одновременно. 429 с заголовком Retry-After: 5 означает временную перегрузку: подождите пять секунд. Потоковые запросы занимают слот параллелизма до конца потока, поэтому закрывайте потоки, которые вы перестали читать.

Следите за заголовком ответа X-Balance-USD при длительных запусках. Когда баланс становится низким, приостановите работу и пополните его на странице с ценами, а не позволяйте задаче завершиться неудачей на полпути.

Длинные документы и проверка результата

Реальный вывод OCR редко бывает одной аккуратной страницей. Отсканированная книга дает вам тысячи страниц, и повреждения неравномерны: чистая глава, затем испачтанная страница, полная сломанных символов. Несколько привычек делают этап очистки предсказуемым.

Разбивайте по структуре, а не по количеству символов. Разрезайте на разрывах страниц или границах абзацев, чтобы модель никогда не получала половину предложения в начале чанка. Если предложение переходит на следующую страницу, включите последний абзац предыдущей страницы в качестве контекста только для чтения и укажите модели вернуть только текущую страницу. Это стоит несколько дополнительных входных токенов на запрос, что при цене $0,15 за 1M — почти ничего, и это исправляет слова с переносом, разорванные между двумя страницами.

Проверяйте каждый результат с помощью недорогих проверок, прежде чем принять его. Сравните длину очищенного текста с исходным: соотношение, сильно отличающееся от 1, означает, что модель упустила или выдумала материал. Сравните числа: извлеките все последовательности цифр из обеих версий и отметьте страницы, где они расходятся, поскольку даты, суммы и идентификаторы — это самые дорогие ошибки, которые можно пропустить. Храните исходный текст OCR рядом с очищенным текстом, чтобы человек всегда мог восстановить, что именно увидел движок.

Наконец, относитесь к первому запуску как к пилотному. Очистите 20 страниц, прочитайте десять из них самостоятельно и настройте системный промпт. Обычно два или три раунда редактирования инструкции делают больше для качества, чем любые изменения параметров.

Распространенные ошибки

  • Отправка очень больших страниц целиком. Контекстное окно составляет 100 000 токенов, а максимальное тело запроса — 8 МБ, но точность лучше с чанками размером со страницу, а неудачный чанк стоит меньше переделывать.
  • Разрешение модели переписывать текст. Если в промпте не указано явно не добавлять и не удалять факты, модель может сгладить поврежденный фрагмент. Сохраните инструкцию явной и сравнивайте длины: очищенная страница, которая значительно короче исходной, заслуживает внимания.
  • Использование неправильного имени модели. Единственный идентификатор модели — uncensored. Вы можете перечислить модели с помощью GET /v1/models.
  • Ожидание эмбеддингов или ввода изображения. Ни того, ни другого нет в этом API. Для поиска по очищенному тексту используйте отдельный инструмент эмбеддингов.
  • Забывание регистрировать идентификатор запроса. Каждый ответ включает заголовок X-Request-Id. Сохраните его рядом со страницей, чтобы поддержка могла отследить плохой результат.

Правила контента просты: модель отвечает без отказов для законного использования взрослыми, но контент сексуального характера с участием несовершеннолетних всегда запрещён. Вопросы по конкретным случаям — в поддержку.

Вопросы и ответы

Нужен ли мне специальный SDK?

Нет. Любой SDK OpenAI или HTTP-клиент работает, если вы установите базовый URL на https://api.llmocrapi.com/v1, используете идентификатор модели uncensored и отправите Bearer-ключ.

Могу ли я отправить изображение или PDF напрямую?

Нет. API принимает только текст. Сначала запустите OCR-движок и отправьте его вывод в качестве содержимого сообщения.

Сколько запросов я могу выполнять одновременно?

Полный ключ позволяет 8 параллельных запросов и 300 запросов в минуту. Пробный ключ позволяет 2 параллельных запроса и 60 в минуту.

Что произойдет, если я превышу лимит запросов?

Вы получите HTTP 429 с кодом rate_limited или concurrency. Подождите и повторите запрос; неудачные запросы не оплачиваются.

Ваш ключ — всего в одной форме от вас

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ