VI ▾

Mô hình LLM không kiểm duyệt cho xử lý hậu kỳ OCRhttps://api.llmocrapi.com/v1

llmocrapi.comHướng dẫn

Tài liệu API OCR: Endpoint, chế độ và giới hạn

Trang này đóng vai trò là tài liệu API OCR dành cho các nhà phát triển muốn tìm hiểu toàn bộ bề mặt API trong một nơi: hai endpoint, bốn chế độ yêu cầu, các giới hạn và lỗi. API làm sạch văn bản đã được engine OCR tạo ra; API không đọc hình ảnh.

Cập nhật

Bảng tham chiếu nổi với các nút luồng, chuỗi dấu chấm và hình dạng ngoặc, đại diện cho các chế độ tài liệu API

Điểm chính

  • Có hai phương thức: POST /v1/chat/completions và GET /v1/models, được xác thực bằng khóa Bearer.
  • Truyền phát, chế độ JSON và gọi hàm tuân theo định dạng chat của OpenAI, với model ID là uncensored.
  • Giới hạn: 8 yêu cầu đồng thời và 300 mỗi phút trên khóa đầy đủ, 2 và 60 trên khóa dùng thử, phần thân yêu cầu tối đa 8 MB.
  • Lỗi khi quá tải là HTTP 429 với mã cho biết bạn có nên giảm tốc độ hay giảm độ đồng thời hay không.

Tổng quan và xác thực

Dịch vụ là một API văn bản tương thích OpenAI được lưu trữ. Mục đích của nó trên trang web này là phần thứ hai của một công việc OCR: lấy chuỗi thô mà engine OCR tạo ra và trả về văn bản sạch, các trường có cấu trúc hoặc các dòng được đánh dấu. Đầu vào chỉ là văn bản. Không có đầu vào hoặc đầu ra hình ảnh, âm thanh hoặc video, không có embedding và không có fine-tuning.

Mọi thứ đều nằm dưới một Base URL, https://api.llmocrapi.com/v1. Xác thực là tiêu chuẩn Bearer: Authorization: Bearer YOUR_KEY. Bạn tạo khóa trên trang khóa API sau khi đăng ký bằng Google, hoặc bằng email và mật khẩu. Mô hình phía sau endpoint là một mô hình trọng số mở duy nhất do một nhà cung cấp độc lập vận hành. Nó không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào và không phải là bộ định tuyến giữa các nhà cung cấp. ID của nó luôn là uncensored.

Để có hướng dẫn thực hành thay vì tài liệu tham khảo, phần bắt đầu nhanh trong mục tài liệu hướng dẫn từng bước yêu cầu đầu tiên.

Tổng quan về các endpoint

Phương thức và đường dẫnMục đích
GET /v1/modelsLiệt kê các mô hình có sẵn. Dùng nó để kiểm tra khóa với chi phí thấp.
POST /v1/chat/completionsChạy mô hình trên danh sách các tin nhắn. Hỗ trợ truyền phát, chế độ JSON và công cụ.

Đó là toàn bộ bề mặt. Vì nó khớp với định dạng giao tiếp của OpenAI, bất kỳ thư viện khách nào cho phép bạn đặt Base URL và khóa đều sẽ hoạt động. Kiểm tra tính hợp lệ nhanh nhất là:

curl https://api.llmocrapi.com/v1/models \
  -H "Authorization: Bearer $LLMOCR_API_KEY"

Một khóa hợp lệ trả về danh sách mô hình chứa uncensored. Một khóa sai trả về lỗi xác thực, cho biết vấn đề nằm ở khóa chứ không phải thân yêu cầu của bạn.

Tham số yêu cầu

Yêu cầu chat completion cần model và messages. Các trường tùy chọn dưới đây được chuyển tiếp đến mô hình.

  • temperature và top_p: điều khiển lấy mẫu. Để sửa lỗi OCR, hãy dùng temperature 0 để đầu vào giống nhau cho đầu ra giống nhau.
  • max_tokens: tùy chọn. Nếu bạn bỏ qua nó, phần hoàn thành có thể sử dụng bất kỳ token nào còn lại trong cửa sổ 100.000 token sau prompt của bạn. Đặt nó khi bạn muốn giới hạn cứng về chi phí cho mỗi lệnh gọi.
  • stop: các chuỗi kết thúc quá trình tạo. Hữu ích khi bạn yêu cầu đầu ra giữa các dấu hiệu.
  • seed: cải thiện khả năng lặp lại giữa các lần chạy.
  • presence_penalty và frequency_penalty: được chuyển tiếp. Để chúng ở mức 0 để làm sạch, vì các hình phạt có thể khiến mô hình thay đổi các từ hợp lệ lặp lại như tiêu đề bảng.
  • stream, response_format, tools và tool_choice: được đề cập trong ba phần tiếp theo.

Cửa sổ ngữ cảnh tính cả prompt và phần hoàn thành cùng nhau ở mức 100.000 token, và thân yêu cầu có thể lên tới 8 MB. Trên thực tế, giới hạn token sẽ đến trước.

Phản hồi streaming

Đặt "stream": true và API gửi Server-Sent Events khi văn bản được tạo. Truyền phát giúp các công cụ tương tác, chẳng hạn như trình soạn thảo nơi người dùng xem đoạn văn đã được làm sạch xuất hiện. Việc sử dụng token được báo cáo ở cuối luồng, vì vậy bạn vẫn có thể ghi lại chi phí.

import os
from openai import OpenAI

client = OpenAI(base_url="https://api.llmocrapi.com/v1", api_key=os.environ["LLMOCR_API_KEY"])

stream = client.chat.completions.create(
    model="uncensored",
    stream=True,
    messages=[{"role": "user", "content": "Fix this OCR text: th1s is a sam-\nple."}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if getattr(chunk, "usage", None):
        print("\ntokens:", chunk.usage.prompt_tokens, chunk.usage.completion_tokens)

Một chi tiết ảnh hưởng đến thông lượng. Một yêu cầu được truyền phát chiếm khe đồng thời của nó cho đến khi luồng kết thúc. Nếu mã của bạn ngừng đọc giữa chừng và giữ kết nối mở, khe đó vẫn bận. Hãy đóng luồng một cách rõ ràng, hoặc tiêu thụ nó đến cuối.

Chế độ JSON

Chế độ JSON yêu cầu mô hình trả về một đối tượng JSON thay vì văn bản. Bật nó bằng response_format và mô tả các khóa trong hướng dẫn của bạn.

{
  "model": "uncensored",
  "temperature": 0,
  "response_format": {"type": "json_object"},
  "messages": [
    {"role": "system", "content": "Return JSON with keys 'text' (cleaned string) and 'uncertain_lines' (array of integers)."},
    {"role": "user", "content": "line one\nl1ne two\nline thr3e"}
  ]
}

Phân tích một cách thận trọng. Chế độ JSON định hình đầu ra, nhưng bạn vẫn nên xác minh các khóa và kiểu trước khi chúng đi vào cơ sở dữ liệu của bạn. Nếu một phản hồi bị cắt bởi max_tokens, JSON có thể không đầy đủ, vì vậy hãy tăng giới hạn hoặc gửi các phần nhỏ hơn.

Gọi hàm

Gọi hàm cho phép mô hình yêu cầu mã của bạn làm điều gì đó thay vì viết văn bản. Đối với công việc OCR, một cách sử dụng phổ biến là trả về các bản sửa có cấu trúc: mô hình gọi một hàm với số dòng và bản thay thế, và mã của bạn áp dụng nó. Xác định công cụ trong mảng tools, chọn hành vi bằng tool_choice, và trả kết quả dưới dạng tin nhắn với role: "tool". Khi truyền phát, các lệnh gọi công cụ đến từng phần dưới dạng delta tool_calls.

tools = [{
    "type": "function",
    "function": {
        "name": "replace_line",
        "description": "Replace one line of the OCR text with a corrected version.",
        "parameters": {
            "type": "object",
            "properties": {
                "line": {"type": "integer"},
                "text": {"type": "string"},
            },
            "required": ["line", "text"],
        },
    },
}]

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "1: The inven-\n2: tory was com1leted."}],
    tools=tools,
    tool_choice="auto",
)
for call in resp.choices[0].message.tool_calls or []:
    print(call.function.name, call.function.arguments)

Các đối số trả về dưới dạng chuỗi JSON. Phân tích chúng, áp dụng thay đổi và nếu bạn tiếp tục cuộc trò chuyện, hãy thêm tin nhắn trợ lý và tin nhắn role: "tool" với tool_call_id phù hợp. Mẫu này giữ số token đầu ra thấp, vì mô hình chỉ trả về các dòng mà nó thay đổi.

Cài đặt phù hợp cho việc làm sạch văn bản

Một tài liệu tham khảo hữu ích hơn với điểm bắt đầu được đề xuất, vì vậy đây là cách các tham số thường kết hợp để sửa lỗi OCR. Đây là những đề xuất dựa trên cách nhiệm vụ hoạt động, không phải benchmark đã đo.

  • Sửa lỗi có tính xác định: temperature 0, không hình phạt, seed cố định. Dùng cái này cho kho lưu trữ nơi bạn muốn chạy lại để tái tạo kết quả của ngày hôm qua.
  • Trích xuất trường: temperature 0, response_format được đặt thành json_object, và giới hạn max_tokens cao hơn một chút so với đối tượng lớn nhất bạn mong đợi.
  • Xem xét tương tác: đặt stream là true và dùng một prompt hệ thống ngắn, để người biên tập có thể thấy văn bản đã sửa xuất hiện và dừng lại sớm nếu cần.
  • Sửa chữa cấp dòng: các công cụ với hàm kiểu replace_line, để mô hình chỉ trả về những gì đã thay đổi.

Các vai trò tin nhắn tuân theo quy ước thông thường: system cho hướng dẫn cố định, user cho văn bản OCR, assistant cho các phản hồi trước đó trong phiên nhiều lượt, và tool cho kết quả hàm. Đặt hướng dẫn trong tin nhắn hệ thống và văn bản thô trong tin nhắn người dùng. Nếu văn bản OCR tự chứa thứ gì đó giống như một hướng dẫn, chẳng hạn như một biển hiệu được quét nói hãy bỏ qua văn bản trước đó, sự tách biệt giúp dễ dàng hơn trong việc cho mô hình biết rằng tin nhắn người dùng là dữ liệu cần sửa và không bao giờ là lệnh để làm theo. Hãy nói rõ điều đó trong prompt hệ thống.

Giữ một bản ghi của giá trị X-Request-Id cho mọi lệnh gọi. Đó là mã định danh mà bộ phận hỗ trợ cần nếu một trang trả về sai và bạn muốn nó được xem xét.

Giới hạn, tiêu đề và lỗi

Giới hạnKhóa đầy đủKhóa dùng thử
Yêu cầu đồng thời82
Yêu cầu mỗi phút30060
Kích thước thân tối đa8 MB8 MB
Cửa sổ ngữ cảnh100.000 token100.000 token

Các phản hồi bao gồm X-Request-Id (trích dẫn nó để hỗ trợ), X-Balance-USD (tín dụng còn lại của bạn), X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency.

Khi bạn vượt quá giới hạn, API trả về HTTP 429. Mã lỗi rate_limited có nghĩa là quá nhiều yêu cầu trong một phút, vì vậy hãy phân phối tải. Mã concurrency có nghĩa là quá nhiều yêu cầu đang chạy, vì vậy hãy giảm số lượng worker. Một lỗi 429 mang tiêu đề Retry-After: 5 báo hiệu quá tải tạm thời: hãy đợi năm giây và gửi lại. Các yêu cầu thất bại và bị từ chối không bị tính phí, vì vậy một vòng lặp thử lại là an toàn.

Thanh toán theo token: $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra, trừ từ tín dụng trả trước không bao giờ hết hạn. Xem trang giá để biết số tiền nạp và ưu đãi. Prompt không được dùng để huấn luyện. Quy tắc nội dung là một giới hạn cứng duy nhất: không nội dung tình dục liên quan đến người chưa thành niên. Câu hỏi về chính sách gửi đến hỗ trợ.

Hỏi đáp

API cung cấp những endpoint nào?

Hai: POST /v1/chat/completions để tạo nội dung và GET /v1/models để lấy danh sách mô hình. Cả hai đều sử dụng cùng một khóa Bearer.

Nó có hỗ trợ truyền phát và gọi hàm không?

Có. Đặt stream thành true để nhận SSE với thông tin sử dụng ở cuối, và dùng tools cùng tool_choice cho gọi hàm, trả kết quả dưới dạng tin nhắn role tool.

Kích thước đầu vào tối đa là bao nhiêu?

Cửa sổ ngữ cảnh là 100.000 token cho prompt cộng với completion, và phần thân yêu cầu có thể lên tới 8 MB.

Tại sao tôi nhận lỗi 429?

Bạn đã vượt quá giới hạn yêu cầu mỗi phút (rate_limited), yêu cầu đồng thời (concurrency), hoặc gặp tình trạng quá tải tạm thời, bao gồm cả tiêu đề Retry-After: 5. Hãy đợi và thử lại.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi Base URL. Đó là toàn bộ thiết lập.

Lấy khóa API