Hướng dẫn nhanh: Tích hợp LLM không kiểm duyệt vào ứng dụng OCR của bạn

Yêu cầu tiên quyết: Khóa API và URL cơ sở

Trước khi thực hiện bất kỳ yêu cầu nào, bạn cần một khóa API và URL cơ sở chính xác. Đăng ký trên trang Lấy khóa API chỉ bằng email và mật khẩu. Khóa của bạn được hiển thị ngay sau khi đăng ký và không cần thẻ tín dụng cho bản dùng thử.

URL gốc cho API này là https://api.llmocrapi.com/v1. Endpoint này tương thích với các SDK OpenAI tiêu chuẩn. Bạn cần cấu hình client của mình để sử dụng URL gốc này và bao gồm khóa API của bạn trong tiêu đề Authorization. Định danh mô hình bạn sẽ sử dụng cho tất cả các yêu cầu là uncensored, chạy trên các máy chủ GPU của chính chúng tôi và được thiết kế để xử lý trích xuất văn bản thô mà không từ chối nội dung người lớn hợp pháp hoặc gây tranh cãi.

Yêu cầu trích xuất văn bản cơ bản

Bắt đầu bằng cách gửi một yêu cầu hoàn thành trò chuyện đơn giản để kiểm tra kết nối. Endpoint này chấp nhận đầu vào văn bản và trả về văn bản đã trích xuất hoặc làm sạch. Sử dụng endpoint POST /v1/chat/completions với mô hình uncensored. Đảm bảo thân yêu cầu của bạn bao gồm nội dung tin nhắn và định danh mô hình.

Yêu cầu cơ bản này xác minh rằng khóa API của bạn hoạt động và mô hình không kiểm duyệt phản hồi như mong đợi. Đây là bước đầu tiên trong việc xây dựng quy trình xử lý hậu kỳ OCR của bạn.

Copycurl https://api.llmocrapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Nếu bạn nhận được phản hồi với choices chứa văn bản, việc tích hợp của bạn đã thành công. Nếu bạn nhận được lỗi 401, hãy kiểm tra khóa API của bạn. Nếu bạn nhận được lỗi 402, bạn có thể cần thêm tín dụng trả trước.

Tích hợp SDK Python

Đối với nhà phát triển Python, việc sử dụng SDK OpenAI chính thức là phương pháp được khuyến nghị. Cài đặt gói openai và cấu hình URL cơ sở trỏ đến API của chúng tôi. Điều này cho phép bạn sử dụng các phương thức quen thuộc như chat.completions.create().

Đặt tham số base_url thành https://api.llmocrapi.com/v1 và truyền khóa API của bạn. Điều này đảm bảo rằng tất cả các yêu cầu được định tuyến chính xác đến mô hình không kiểm duyệt của chúng tôi. Sau đó, bạn có thể gửi văn bản trích xuất OCR của bạn làm tin nhắn người dùng và xác định prompt hệ thống để hướng dẫn mô hình cách làm sạch hoặc tóm tắt dữ liệu.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmocrapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Phương pháp này lý tưởng cho việc xử lý hàng loạt tài liệu khi không cần truyền phát. Nó cung cấp cách đơn giản để tích hợp LLM vào các tập lệnh OCR Python hiện có của bạn.

Tích hợp SDK Node.js

Nhà phát triển Node.js cũng có thể sử dụng SDK OpenAI để tương tác với API. Cài đặt gói openai cho Node và cấu hình URL cơ sở tương tự như thiết lập Python. Điều này cho phép bạn tận dụng cùng endpoint chat.completions với cú pháp JavaScript quen thuộc.

Cấu hình client với khóa API của bạn và URL gốc https://api.llmocrapi.com/v1. Điều này đảm bảo tương thích với các ứng dụng Node.js hiện có của bạn. Sau đó, bạn có thể gửi các yêu cầu để trích xuất hoặc tóm tắt văn bản từ quy trình OCR của bạn.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmocrapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phương pháp này phù hợp cho xử lý phía máy chủ trong môi trường Node, cho phép bạn xử lý đầu ra OCR một cách hiệu quả mà không rời khỏi hệ sinh thái Node của bạn.

Truyền phát phản hồi cho tài liệu lớn

Khi xử lý tài liệu lớn, truyền phát phản hồi có thể cải thiện trải nghiệm người dùng bằng cách cung cấp văn bản theo từng phần khi nó được tạo. Sử dụng tham số stream: true trong yêu cầu của bạn để kích hoạt Sự kiện được gửi qua máy chủ (SSE). Điều này cho phép bạn xử lý văn bản theo thời gian thực, hữu ích cho đầu ra OCR dài hoặc khi hiển thị tiến trình cho người dùng.

Truyền phát giúp quản lý việc sử dụng bộ nhớ bằng cách không yêu cầu toàn bộ phản hồi phải được giữ trong bộ nhớ trước khi xử lý. Nó đặc biệt hữu ích cho các tài liệu có lượng văn bản đáng kể có thể gây ra vấn đề độ trễ nếu không.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Đảm bảo máy khách của bạn xử lý các sự kiện SSE đúng cách để phân tích các đoạn văn bản tăng dần. Phương pháp này lý tưởng cho các ứng dụng yêu cầu phản hồi thời gian thực trong giai đoạn xử lý hậu kỳ OCR.

Giới hạn tốc độ, Lỗi và Cửa sổ ngữ cảnh

Hãy lưu ý các giới hạn của API để tránh gián đoạn dịch vụ. Bạn được giới hạn ở 300 yêu cầu mỗi phút cho mỗi khóa API. Thân yêu cầu của mỗi yêu cầu không được vượt quá 8 MB. Nếu bạn vượt quá giới hạn tốc độ, bạn sẽ nhận được lỗi 429. Hãy đảm bảo ứng dụng của bạn triển khai cơ chế backoff theo cấp số nhân để xử lý các lỗi này một cách mượt mà.

Cửa sổ ngữ cảnh là 100.000 token cho cả prompt và kết quả kết hợp. Nếu kết quả OCR của bạn vượt quá giới hạn này, bạn có thể cần chia tài liệu hoặc cắt ngắn các phần trước đó. Các lỗi phổ biến bao gồm 401 cho khóa không hợp lệ, 402 cho tín dụng không đủ và 429 cho giới hạn tốc độ. Hãy theo dõi mức sử dụng của bạn và thêm tín dụng trả trước khi cần thiết để duy trì dịch vụ không gián đoạn.