تصویر، صدا، ویدئو، OCR و embedding
با همان کلید و کیف پول، کارهایی جز متن هم میشود کرد که شاید هنوز به فکرتان نرسیده باشد.
با همان کلید و کیف پول کارهای دیگری جز متن هم میشود کرد. این درس فهرست کوتاهی از آنهاست و جزئیات هر کدام در مرجع API آمده است.
فرستادن تصویر به مدل
مدلهایی که تصویر میخوانند، آن را داخل همان messages میگیرند. بخش ورودی و خروجی در صفحهٔ هر مدل میگوید آن مدل تصویر قبول میکند یا نه.
resp = client.chat.completions.create(
model="deepseek/deepseek-v4-flash",
messages=[{"role": "user", "content": [
{"type": "text", "text": "در این تصویر چه میبینی؟"},
{"type": "image_url", "image_url": {"url": "https://example.com/x.jpg"}},
]}],
)ساختن تصویر
POST /v1/images/generations تصویر میسازد. هزینه برای هر تصویر جدا حساب میشود، هر درخواست حداکثر ۱۰ تصویر میسازد و جواب به شکل base64 برمیگردد.
صدا
- متن به گفتار:
POST /v1/audio/speech. جواب فایل صوتی است؛ هزینه وقتی همان لحظه معلوم باشد در هدرx-cost-rialمیآید، وگرنه آن را با شناسهٔ درخواست ازGET /v1/generation?id=بخوانید. - گفتار به متن:
POST /v1/audio/transcriptionsوtranslations، با آپلود فایل. - گفتوگوی زنده:
wss://.../v1/realtime، با پروتکل Realtime و یک رزرو برای هر نشست.
ویدئو
POST /v1/videos ساختن ویدئو را شروع میکند و تا تمام شدنش منتظر میماند، که معمولاً یک تا چند دقیقه طول میکشد. timeout کلاینت را دستکم ۱۰ دقیقه بگذارید یا از مسیر async استفاده کنید.
خواندن سند
POST /v1/ocr سند یا تصویر را به متن markdown تبدیل میکند و هزینهاش صفحهای حساب میشود. اگر فقط میخواهید مدل یک PDF را بخواند، پلاگین file-parser را در درخواست بفرستید:
"plugins": [{"id": "file-parser"}]
embedding و rerank
برای جستوجوی معنایی و ساختن سیستم پرسش و پاسخ روی اسناد خودتان، POST /v1/embeddings بردار هر متن را میسازد و POST /v1/rerank نتیجهها را بر اساس ارتباطشان با پرسش مرتب میکند. مراحل کار به زبان ساده:
- سندها را تکهتکه کنید و برای هر تکه embedding بگیرید.
- پرسش را هم به embedding تبدیل کنید و نزدیکترین تکهها را پیدا کنید.
- با rerank بهترینها را بالا بیاورید.
- همان تکهها را همراه سؤال به مدل بدهید.
فهرست مدلها همهچیز را یکجا دارد؛ فیلد endpoint در GET /v1/models میگوید هر مدل روی کدام مسیر جواب میدهد.
/v1 یا /openai برای SDK شرکت OpenAI، /anthropic برای SDK آنتروپیک و /genai برای SDK گوگل. هر چهار پیشوند به یک سرویس میرسند و همان کلید را قبول میکنند.فهرست مدلها را بخوانید۰ از ۳ قدم
GET /v1/modelsرا با کلید خودتان صدا بزنید.- فیلد
endpointوarchitectureچند مدل را ببینید. - یک مدل embedding یا تصویر پیدا کنید.
خلاصهٔ درس
- تصویر، صدا، ویدئو، OCR و embedding هم با همان کلید کار میکنند.
- مرجع کامل هر مسیر در مستندات است.
- درس بعد سراغ کار تیمی میرویم.
وارد شوید تا پیشرفتتان بماند
اگر وارد پنل شوید، مسیرتان و جایی که در هر درس بودید ذخیره میشود و روی هر دستگاهی از همانجا ادامه میدهید.