تصویر، صدا، ویدئو، OCR و embedding

با همان کلید و کیف پول، کارهایی جز متن هم می‌شود کرد که شاید هنوز به فکرتان نرسیده باشد.

۵ دقیقهدرس ۵ از ۹۰ از ۳ قدم

با همان کلید و کیف پول کارهای دیگری جز متن هم می‌شود کرد. این درس فهرست کوتاهی از آن‌هاست و جزئیات هر کدام در مرجع API آمده است.

فرستادن تصویر به مدل

مدل‌هایی که تصویر می‌خوانند، آن را داخل همان messages می‌گیرند. بخش ورودی و خروجی در صفحهٔ هر مدل می‌گوید آن مدل تصویر قبول می‌کند یا نه.

Python
resp = client.chat.completions.create(
    model="deepseek/deepseek-v4-flash",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "در این تصویر چه می‌بینی؟"},
        {"type": "image_url", "image_url": {"url": "https://example.com/x.jpg"}},
    ]}],
)

ساختن تصویر

POST /v1/images/generations تصویر می‌سازد. هزینه برای هر تصویر جدا حساب می‌شود، هر درخواست حداکثر ۱۰ تصویر می‌سازد و جواب به شکل base64 برمی‌گردد.

صدا

  • متن به گفتار: POST /v1/audio/speech. جواب فایل صوتی است؛ هزینه وقتی همان لحظه معلوم باشد در هدر x-cost-rial می‌آید، وگرنه آن را با شناسهٔ درخواست از GET /v1/generation?id= بخوانید.
  • گفتار به متن: POST /v1/audio/transcriptions و translations، با آپلود فایل.
  • گفت‌وگوی زنده: wss://.../v1/realtime، با پروتکل Realtime و یک رزرو برای هر نشست.

ویدئو

POST /v1/videos ساختن ویدئو را شروع می‌کند و تا تمام شدنش منتظر می‌ماند، که معمولاً یک تا چند دقیقه طول می‌کشد. timeout کلاینت را دست‌کم ۱۰ دقیقه بگذارید یا از مسیر async استفاده کنید.

خواندن سند

POST /v1/ocr سند یا تصویر را به متن markdown تبدیل می‌کند و هزینه‌اش صفحه‌ای حساب می‌شود. اگر فقط می‌خواهید مدل یک PDF را بخواند، پلاگین file-parser را در درخواست بفرستید:

JSON
"plugins": [{"id": "file-parser"}]

embedding و rerank

برای جست‌وجوی معنایی و ساختن سیستم پرسش و پاسخ روی اسناد خودتان، POST /v1/embeddings بردار هر متن را می‌سازد و POST /v1/rerank نتیجه‌ها را بر اساس ارتباطشان با پرسش مرتب می‌کند. مراحل کار به زبان ساده:

  1. سندها را تکه‌تکه کنید و برای هر تکه embedding بگیرید.
  2. پرسش را هم به embedding تبدیل کنید و نزدیک‌ترین تکه‌ها را پیدا کنید.
  3. با rerank بهترین‌ها را بالا بیاورید.
  4. همان تکه‌ها را همراه سؤال به مدل بدهید.

فهرست مدل‌ها همه‌چیز را یک‌جا دارد؛ فیلد endpoint در GET /v1/models می‌گوید هر مدل روی کدام مسیر جواب می‌دهد.

هر SDK پیشوند خودش را دارد: /v1 یا /openai برای SDK شرکت OpenAI، /anthropic برای SDK آنتروپیک و /genai برای SDK گوگل. هر چهار پیشوند به یک سرویس می‌رسند و همان کلید را قبول می‌کنند.

فهرست مدل‌ها را بخوانید۰ از ۳ قدم

  1. GET /v1/models را با کلید خودتان صدا بزنید.
  2. فیلد endpoint و architecture چند مدل را ببینید.
  3. یک مدل embedding یا تصویر پیدا کنید.

خلاصهٔ درس

  • تصویر، صدا، ویدئو، OCR و embedding هم با همان کلید کار می‌کنند.
  • مرجع کامل هر مسیر در مستندات است.
  • درس بعد سراغ کار تیمی می‌رویم.
سازمان، Workspace و اعضایک کیف پول برای چند پروژه، و هر کس فقط چیزی را می‌بیند که لازم دارد.تمام کردم، درس بعد