TH ▾

LLM แบบไม่เซ็นเซอร์สำหรับประมวลผลข้อความหลัง OCRhttps://api.llmocrapi.com/v1

llmocrapi.comคู่มือ

การผสาน API OCR: ตัวอย่างโค้ด Python และ Node

การผสาน API OCR ในที่นี้หมายถึงการเพิ่ม HTTP call หนึ่งครั้งหลังจาก OCR engine: คุณส่งข้อความดิบที่รู้จำได้และรับข้อความที่สะอาดกลับ เอนด์พอยต์นี้เข้ากันได้กับ OpenAI ดังนั้น SDK ที่มีอยู่แล้วจึงใช้งานได้หลังจากเปลี่ยนการตั้งค่าสองอย่าง

อัปเดต

pipeline แบบไอโซเมตริกนำบล็อกกระจัดกระจายผ่านโหนดประมวลผลไปยังกองเก็บข้อมูลที่เป็นระเบียบ

ประเด็นสำคัญ

  • ตั้งค่า base URL เป็น https://api.llmocrapi.com/v1 ใช้ model ID uncensored และส่งคีย์ของคุณเป็น Bearer token
  • API รับเฉพาะข้อความ ให้รัน OCR engine ของคุณก่อนแล้วส่งผลลัพธ์เป็น user message
  • โหมด JSON ส่งผลลัพธ์ที่เครื่องอ่านได้ และ thread pool ขนาดเล็กที่มี worker สูงสุด 8 ตัวช่วยให้แบทช์ทำงานเร็ว
  • การตอบกลับ 429 เป็นสัญญาณให้รอและลองใหม่ ไม่ใช่ความล้มเหลว: คำขอที่ล้มเหลวจะไม่คิดเงิน

ตำแหน่งที่การเรียกใช้อยู่ใน pipeline

การไหลของเอกสารทั่วไปมีสี่ขั้นตอน: เครื่องสแกนหรือกล้องโทรศัพท์สร้างภาพ, OCR engine แปลงภาพเป็นข้อความดิบ, ขั้นตอนการทำความสะอาดซ่อมแซมข้อความนั้น, และแอปพลิเคชันของคุณจัดเก็บหรือค้นหาผลลัพธ์ API ที่อธิบายที่นี่คือขั้นตอนที่สาม API นี้ไม่เห็นภาพเลย และไม่มีอินพุตภาพ นี่เป็นฟีเจอร์เมื่อคุณให้ความสำคัญกับความเป็นส่วนตัวของการสแกนต้นฉบับ เพราะมีเพียงข้อความที่ออกจากเครื่องของคุณ และเป็นข้อจำกัดเมื่อคุณคาดหวังเอนด์พอยต์เดียวที่จัดการรูปภาพ

พรอมต์ไม่ถูกนำไปใช้ในการฝึกโมเดล อย่างไรก็ตาม ส่งเฉพาะสิ่งที่งานต้องการ: ลบหมายเลขบัญชีหรือชื่อออกก่อนเรียกใช้งาน หากการทำความสะอาดไม่ขึ้นอยู่กับข้อมูลเหล่านั้น

ก่อนเขียนโค้ด รับคีย์ API ผู้ใช้ใหม่สามารถรับเครดิตทดลองใช้มูลค่า $0.50 ได้เพียงคลิกเดียวบนหน้านั้นหลังจากสมัครใช้งาน ซึ่งเพียงพอสำหรับการรันตัวอย่างด้านล่างได้หลายครั้ง คีย์ทดลองอนุญาตให้ทำคำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที ส่วนคีย์แบบเต็มอนุญาตให้ทำ 8 และ 300 ตามลำดับ

การตั้งค่าที่คุณต้องการ

การตั้งค่าค่า
URL พื้นฐานhttps://api.llmocrapi.com/v1
เอนด์พอยต์POST /v1/chat/completions
ID โมเดลuncensored
Auth headerAuthorization: Bearer YOUR_KEY
หน้าต่างบริบท100,000 โทเคน, พรอมต์รวมกับ completion

เก็บคีย์ไว้ในตัวแปรสภาพแวดล้อม อย่าเก็บไว้ในระบบควบคุมเวอร์ชัน ตัวอย่างด้านล่างอ่านค่า LLMOCR_API_KEY

คำแนะนำเชิงปฏิบัติสองข้อก่อนเริ่มใช้งาน: อย่าใส่คีย์ไว้ในโค้ดฝั่งหน้าเว็บ เนื่องจากโค้ดที่ส่งไปยังเบราว์เซอร์สามารถถูกอ่านโดยผู้ใช้ได้; เรียกใช้ API จากเซิร์ฟเวอร์หรือ worker และตัดสินใจให้เร็วที่สุดว่า OCR text ดิบและ text ที่ผ่านการทำความสะอาดจะอยู่ที่ไหน เนื่องจาก output ที่ผ่านการทำความสะอาดคือไฟล์ที่คุณจะค้นหา ทำดัชนี และแสดงให้ผู้คนเห็น ในขณะที่ text ดิบคือหลักฐานของคุณหากมีการตั้งคำถามกับการแก้ไข

คำขอแรกด้วย curl

เริ่มด้วย curl เพื่อให้เห็นโครงสร้างดิบของคำขอ ก่อนที่ SDK จะซ่อนมันไว้ ตัวอย่างด้านล่างเป็นเศษข้อความ OCR ที่เสียหายทั่วไป: ยัติภังค์ที่ถูกตัดแยกเพราะขึ้นบรรทัดใหม่ ตัวอักษรที่สับสนกับตัวเลข และหมายเลขหน้าที่ไม่พึงประสงค์

curl https://api.llmocrapi.com/v1/chat/completions \
  -H "Authorization: Bearer $LLMOCR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "temperature": 0,
    "messages": [
      {"role": "system", "content": "You repair raw OCR text. Fix broken words, rejoin hyphenated line breaks, remove page numbers. Return only the corrected text."},
      {"role": "user", "content": "The inven-\ntory was com1leted on Tuesday.\n\n- 14 -\n\nA second ship-\nment arrived."}
    ]
  }'

การตอบกลับมีรูปแบบ chat completion มาตรฐาน ข้อความที่ผ่านการทำความสะอาดแล้วอยู่ใน choices[0].message.content และ usage รายงานจำนวนโทเคนพรอมต์และโทเคนผลลัพธ์สำหรับการเรียกใช้นั้น ตั้งค่า temperature เป็น 0 สำหรับการทำความสะอาด คุณต้องการให้อินพุตเดียวกันให้เอาต์พุตเดียวกัน ไม่ใช่ความหลากหลายเชิงสร้างสรรค์

Python กับ SDK ของ OpenAI

ติดตั้ง SDK ด้วย pip install openai. คอนสตรัคเตอร์แตกต่างจากการตั้งค่า OpenAI มาตรฐานเพียงอย่างเดียว

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.llmocrapi.com/v1",
    api_key=os.environ["LLMOCR_API_KEY"],
    max_retries=4,
)

SYSTEM = (
    "You repair raw OCR text. Fix broken words, rejoin hyphenated line breaks, "
    "remove page numbers and running headers. Do not add or remove facts. "
    "Return only the corrected text."
)

def clean(raw: str) -> str:
    resp = client.chat.completions.create(
        model="uncensored",
        temperature=0,
        messages=[
            {"role": "system", "content": SYSTEM},
            {"role": "user", "content": raw},
        ],
    )
    return resp.choices[0].message.content

print(clean("The inven-\ntory was com1leted on Tuesday."))

อาร์กิวเมนต์ max_retries บอก SDK ให้ลองใหม่เมื่อเกิดข้อผิดพลาดในการเชื่อมต่อและ response 429 พร้อม backoff ดังนั้นคุณไม่จำเป็นต้องเขียนลูปนั้นเองสำหรับการใช้งานเบาๆ

ตัวอย่าง Node.js

ด้วยคำสั่ง npm install openai และโมดูล ES การเรียกใช้งานเดียวกันมีลักษณะดังนี้

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.llmocrapi.com/v1",
  apiKey: process.env.LLMOCR_API_KEY,
});

export async function clean(raw) {
  const resp = await client.chat.completions.create({
    model: "uncensored",
    temperature: 0,
    messages: [
      { role: "system", content: "Repair raw OCR text. Return only the corrected text." },
      { role: "user", content: raw },
    ],
  });
  return resp.choices[0].message.content;
}

console.log(await clean("A second ship-\nment arrived."));

ทุกสิ่งที่รองรับรูปแบบการสนทนาของ OpenAI เช่น เครื่องมืออัตโนมัติแบบไม่มีโค้ดหรือตัวห่อหุ้มภายในที่มีอยู่ สามารถใช้การตั้งค่าสองอย่างเดียวกันได้ เอกสารประกอบ ระบุพารามิเตอร์ที่รองรับทั้งหมด

ผลลัพธ์ที่มีโครงสร้างด้วยโหมด JSON

ข้อความแบบธรรมดาใช้ได้สำหรับการจัดเก็บถาวร แต่สายงานการสกัดข้อมูลต้องการฟิลด์ เปิดใช้งานโหมด JSON ด้วย response_format และอธิบายรูปแบบที่คุณต้องการในพรอมต์ การขอ JSON ทั้งในคำแนะนำและการตั้งค่าให้ผลลัพธ์ที่เชื่อถือได้มากที่สุด

import json

resp = client.chat.completions.create(
    model="uncensored",
    temperature=0,
    response_format={"type": "json_object"},
    messages=[
        {"role": "system", "content": (
            "Clean the OCR text of a receipt and answer in JSON with keys "
            "'vendor' (string), 'date' (YYYY-MM-DD or null), 'total' (number or null), "
            "'cleaned_text' (string)."
        )},
        {"role": "user", "content": raw_receipt_text},
    ],
)
data = json.loads(resp.choices[0].message.content)

ห่อหุ้ม json.loads ด้วยบล็อก try และเก็บข้อความดิบไว้เสมอ เนื่องจากข้อความตอบกลับที่ยาวมากหรือถูกตัดทอนอาจยังคงสร้าง JSON ที่ไม่ถูกต้องได้ หากการแยกวิเคราะห์ล้มเหลว ให้ลองใหม่หนึ่งครั้งแล้วจัดคิวหน้าที่ต้องตรวจสอบด้วยมนุษย์

การประมวลผลชุดข้อมูลแบบขนาน

การส่งคำขอทีละคำขออาจช้าเมื่อมีหลายพันหน้า คีย์แบบเต็มอนุญาตให้ส่งคำขอพร้อมกันได้ 8 คำขอ ดังนั้นการใช้พูลของ worker 6 หรือ 8 ตัวจะช่วยให้คุณอยู่ภายใต้ขีดจำกัด ควรเว้นพื้นที่สำรองเล็กน้อยหากคีย์เดียวกันถูกใช้งานโดยส่วนอื่นด้วย

from concurrent.futures import ThreadPoolExecutor

pages = [open(f"ocr/page_{i:04d}.txt").read() for i in range(1, 501)]

with ThreadPoolExecutor(max_workers=6) as pool:
    cleaned = list(pool.map(clean, pages))

for i, text in enumerate(cleaned, start=1):
    open(f"clean/page_{i:04d}.txt", "w").write(text)

หากคุณทำเกินขีดจำกัด API จะส่ง HTTP 429 รหัสข้อผิดพลาด rate_limited หมายถึงคำขอเกินจำนวนต่อนาที และ concurrency หมายถึงคำขอเกินจำนวนพร้อมกัน 429 พร้อม header Retry-After: 5 หมายถึงการโอเวอร์โหลดชั่วคราว: รอห้าวินาที คำขอแบบสตรีมมิงจะเก็บช่อง concurrency ไว้จนกว่าสตรีมจะสิ้นสุด ดังนั้นให้ปิดสตรีมที่คุณหยุดอ่าน

ติดตาม response header X-Balance-USD ในการรันระยะยาว เมื่อยอดเงินต่ำ ให้หยุดและเติมเงินจาก หน้าราคา แทนที่จะปล่อยให้งานล้มเหลวกลางคัน

เอกสารยาวและการตรวจสอบผลลัพธ์

ผลลัพธ์ OCR จริงมักไม่ใช่หน้าเดียวที่เรียบร้อย หนังสือที่สแกนให้หน้านับพัน และความเสียหายไม่สม่ำเสมอ: บทที่สะอาด แล้วตามด้วยหน้าเปื้อนที่เต็มไปด้วยอักขระที่แตกหัก นิสัยไม่กี่อย่างช่วยให้ขั้นตอนการทำความสะอาดมีความแน่นอน

แบ่งตามโครงสร้าง ไม่ใช่ตามจำนวนอักขระ ตัดที่การแบ่งหน้าหรือขอบเขตย่อหน้า เพื่อให้โมเดลไม่ได้รับครึ่งประโยคที่จุดเริ่มต้นของชุดข้อมูล หากประโยควิ่งข้ามขอบเขตหน้า ให้รวมย่อหน้าสุดท้ายของหน้าก่อนหน้าเป็นบริบทแบบอ่านอย่างเดียวและบอกให้โมเดลส่งกลับเฉพาะหน้าที่ปัจจุบันเท่านั้น สิ่งนี้ใช้โทเคนอินพุตเพิ่มเติมเล็กน้อยต่อคำขอ ซึ่งที่ $0.15 ต่อ 1 ล้านโทเคน ถือว่าน้อยมาก และช่วยแก้ไขคำที่มียัติภังค์ซึ่งถูกตัดข้ามสองหน้า

ตรวจสอบผลลัพธ์แต่ละรายการด้วยการตรวจสอบต้นทุนต่ำก่อนยอมรับ เปรียบเทียบความยาวของข้อความที่ผ่านการทำความสะอาดกับต้นฉบับ: อัตราส่วนที่ห่างจาก 1 หมายถึงโมเดลละทิ้งหรือแต่งเนื้อหาขึ้นมาเอง เปรียบเทียบตัวเลข: ดึงลำดับตัวเลขทุกชุดจากทั้งสองเวอร์ชันและทำเครื่องหมายหน้าที่แตกต่างกัน เนื่องจากวันที่ จำนวนเงิน และตัวระบุคือข้อผิดพลาดที่มีค่าใช้จ่ายสูงที่สุดในการพลาด เก็บข้อความ OCR ดิบไว้ข้างข้อความที่ผ่านการทำความสะอาด เพื่อให้บุคคลสามารถสร้างใหม่ได้ว่าOCR engine เห็นอะไรจริงๆ

สุดท้ายนี้ ให้พิจารณาการรันครั้งแรกเป็นโครงการนำร่อง ทำความสะอาด 20 หน้า อ่านสิบหน้าด้วยตนเอง และปรับแต่ง system prompt โดยปกติแล้วการแก้ไขคำแนะนำสองหรือสามรอบจะช่วยปรับปรุงคุณภาพได้มากกว่าการเปลี่ยนแปลงพารามิเตอร์ใดๆ

ข้อผิดพลาดทั่วไป

  • การส่งหน้าขนาดใหญ่ในครั้งเดียว หน้าต่างบริบทมีขนาด 100,000 โทเคน และขนาดสูงสุดของ request body คือ 8 MB แต่ความแม่นยำจะดีกว่าเมื่อแบ่งเป็นหน้าขนาดเล็ก และการทำซ้ำ chunk ที่ล้มเหลวมีต้นทุนต่ำกว่า
  • การให้โมเดลเขียนใหม่ หากพรอมต์ไม่ได้ระบุว่าห้ามเพิ่มหรือลบข้อเท็จจริง โมเดลอาจทำให้ข้อความที่เสียหายเรียบเรียงขึ้นได้ ควรระบุคำสั่งให้ชัดเจนและเปรียบเทียบความยาว: หน้าที่ผ่านการทำความสะอาดแล้วสั้นกว่าต้นฉบับอย่างมาก ควรตรวจสอบอีกครั้ง
  • การใช้ชื่อโมเดลผิด ชื่อโมเดล ID ที่ถูกต้องคือ uncensored คุณสามารถดูรายการโมเดลด้วยคำสั่ง GET /v1/models
  • การคาดหวัง embeddings หรือ input รูปภาพ API นี้ไม่มีฟีเจอร์ดังกล่าว สำหรับการค้นหาข้อความที่ผ่านการทำความสะอาดแล้ว ให้ใช้เครื่องมือ embedding แยกต่างหาก
  • การลืมบันทึก request ID แต่ละ response จะมี header X-Request-Id เก็บไว้ข้างๆ หน้าเว็บเพื่อให้ฝ่ายสนับสนุนสามารถติดตามผลลัพธ์ที่ไม่ถูกต้องได้

กฎเกี่ยวกับเนื้อหาเป็นไปอย่างเรียบง่าย: โมเดลถูกปรับแต่งให้ตอบคำถามโดยไม่ปฏิเสธสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์จะถูกห้ามเสมอ คำถามเกี่ยวกับกรณีเฉพาะสามารถติดต่อไปยัง ฝ่ายสนับสนุน ได้

ถาม-ตอบ

ฉันต้องการ SDK พิเศษหรือไม่?

ไม่ SDK ของ OpenAI ใดๆ หรือไคลเอนต์ HTTP ทำงานได้เมื่อตั้งค่า base URL เป็น https://api.llmocrapi.com/v1 ใช้ model ID uncensored และส่ง Bearer key

ฉันสามารถส่งรูปภาพหรือ PDF โดยตรงได้หรือไม่?

ไม่ API รับเฉพาะข้อความเท่านั้น ให้รัน OCR engine ก่อน แล้วส่งผลลัพธ์ที่ได้เป็นเนื้อหาข้อความ

ฉันสามารถรันคำขอได้พร้อมกันกี่คำขอ?

คีย์เต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที คีย์ทดลองอนุญาตให้ทำคำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที

เกิดอะไรขึ้นเมื่อฉันถึงขีดจำกัดอัตรา?

คุณจะได้รับ HTTP 429 พร้อมรหัส rate_limited หรือ concurrency ให้รอแล้วลองส่งใหม่; คำขอที่ล้มเหลวจะไม่ถูกเรียกเก็บเงิน

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API