NVIDIA Dynamo قابلیت‌های استریمینگ برای گردش‌های کاری عاملی را ارتقا می‌دهد

Luisa Crawford ۱۴۰۵/۰۲/۱۸ ۱۶:۳۴

NVIDIA Dynamo ابزارهای جدیدی برای گردش‌های کاری عاملی سریع‌تر و دقیق‌تر معرفی می‌کند و استریمینگ توکن و مدیریت فراخوانی ابزار را بهبود می‌بخشد.

NVIDIA به‌روزرسانی‌های قابل توجهی برای پلتفرم Dynamo خود رونمایی کرده است که هدف آن بهینه‌سازی گردش‌های کاری عاملی با استریمینگ پیشرفته، تجزیه‌وتحلیل و مدیریت فراخوانی ابزار است. این به‌روزرسانی‌ها بر بهبود پاسخگویی و دقت برای برنامه‌هایی تمرکز دارند که به تعاملات چند مرحله‌ای متکی هستند، مانند دستیارهای برنامه‌نویسی و سایر ابزارهای مبتنی بر هوش مصنوعی.

یکی از نکات کلیدی، معرفی ارسال فراخوانی ابزار از طریق استریمینگ است. این ویژگی جدید امکان اجرای فراخوانی‌های ابزار را به محض رمزگشایی فراهم می‌کند و نیاز به انتظار برای تکمیل کامل چرخه پاسخ را از بین می‌برد. این تنظیم نه‌تنها زمان رسیدن به اولین توکن (TTFT) را برای کاربران تسریع می‌بخشد، بلکه ناکارآمدی‌های موجود در گردش‌های کاری عاملی را که در آن‌ها استدلال و پاسخ‌های ابزار درهم‌آمیخته‌اند نیز برطرف می‌کند.

بهبود عملکرد از طریق پایداری Prompt

یک بهبود اساسی بر پایداری prompt و استفاده مجدد از KV-cache متمرکز است. با حذف پیش‌درآمدهای مخصوص جلسه، مانند هدرهای صورت‌حساب Anthropic، Dynamo پیشوندهای توکن ثابتی را در طول جلسات تضمین می‌کند. این تغییر در آزمایش‌های NVIDIA باعث کاهش تقریباً پنج‌برابری TTFT شد، از ۹۱۲ میلی‌ثانیه به ۱۶۹ میلی‌ثانیه، بر روی سیستمی با prompt ۵۲ هزار توکنی.

برای توسعه‌دهندگان، حفظ پیشوندهای پایدار هنگام مدیریت promptهای بزرگ و پیچیده در چندین جلسه کاربری بسیار حیاتی است. این بهینه‌سازی‌ها به‌ویژه برای مدل‌های عاملی مانند Claude Code و Codex ارزشمند هستند که برای عملکرد مؤثر به تعاملات دقیق و قابل تکرار نیاز دارند.

تجزیه‌وتحلیل پیشرفته برای تعاملات پیچیده

Dynamo همچنین تجزیه‌کننده‌های استدلال و فراخوانی ابزار خود را بازطراحی کرده و آن‌ها را به ماژول‌های قابل استفاده مجدد تبدیل کرده است. این امر به توسعه‌دهندگان اجازه می‌دهد تا هماهنگی بهتری بین خروجی‌های تجزیه‌شده و نیازمندی‌های سیستم به‌دست آورند. این به‌روزرسانی‌ها یک مشکل دیرینه را برطرف می‌کنند که در آن استدلال قبلی در طول تعاملات چند مرحله‌ای یا حذف می‌شد یا ناقص بود. در گردش‌های کاری عاملی که استدلال توالی‌های فراخوانی ابزار را توضیح می‌دهد، حفظ استدلال ساختارمند امری حیاتی است.

به‌عنوان مثال، NVIDIA نشان داد که مدل Nemotron-3-Super-120B آن اکنون می‌تواند استدلال درهم‌آمیخته و فراخوانی‌های ابزار را به‌طور مؤثرتری پردازش کند و اطمینان حاصل کند که هر بخش از استدلال به‌درستی به عملکرد ابزار مربوطه متصل می‌ماند. این امر از بروز مشکلاتی جلوگیری می‌کند که در آن‌ها استدلال قبلاً به‌اشتباه گروه‌بندی می‌شد و منجر به از دست رفتن زمینه می‌گردید.

رفتار استریمینگ و ارسال ابزار

یکی دیگر از بهبودهای اساسی، توانایی استریم کردن پاسخ‌های توکنیزه‌شده در حین ارسال فراخوانی‌های ابزار از طریق یک کانال جانبی است. پیش از این، فراخوانی‌های ابزار تا پایان یک پاسخ بافر می‌شدند و اجرا را به تأخیر می‌انداختند. با قابلیت‌های جدید استریمینگ و ارسال درخطی، فراخوانی‌های ابزار به محض تجزیه‌شدن قابل اجرا می‌شوند و پاسخگویی برنامه‌های بلادرنگ را به‌طور قابل توجهی بهبود می‌بخشند.

NVIDIA این را با مقایسه‌ای زمانی نشان داد که نمایان می‌دهد Dynamo اکنون چگونه فراخوانی‌های ابزار را در میان پاسخ تجزیه و استریم می‌کند و امکان اجرای فوری را فراهم می‌آورد. این طراحی مجدد پیچیدگی سمت سیستم را به حداقل می‌رساند و یکپارچگی یکپارچه با سیستم‌های سفارشی را تضمین می‌کند.

بهبود انطباق با API

این به‌روزرسانی‌ها همچنین سازگاری Dynamo با Anthropic Messages API را که یک رابط حیاتی برای ابزارهایی مانند Claude Code و OpenClaw است، ارتقا می‌دهند. اصلاحات شامل شمارش صحیح توکن در ابتدای استریم‌ها و توانایی ارائه endpoint های متادیتای مدل است که هر دو Dynamo را به برابری با بک‌اند بومی نزدیک‌تر می‌کنند.

برای کاربران Codex، سازگاری با Responses API متعلق به OpenAI نیز بهبود یافته است. NVIDIA مشکلات حفظ فیلد را که در طول پردازش درخواست‌های داخلی رخ می‌داد برطرف کرده و اطمینان حاصل کرده است که ویژگی‌های مخصوص Codex مانند خلاصه‌های استدلال و کوتاه‌سازی فراخوانی ابزار بدون کاهش عملکرد پشتیبانی می‌شوند.

چشم‌انداز آینده

با نگاه به آینده، NVIDIA بخش‌هایی از پشته سرویس‌دهی Dynamo را به‌عنوان اجزای ماژولار در دسترس قرار می‌دهد، از جمله کتابخانه‌های پروتکل، تجزیه‌کننده و توکنایزر. این ماژولاریتی به توسعه‌دهندگان امکان می‌دهد بدون تکرار عملکرد اصلی Dynamo، سیستم‌های سفارشی بسازند یا موارد موجود را گسترش دهند.

این به‌روزرسانی‌ها Dynamo را به‌عنوان یک راه‌حل پیشرو برای بارهای کاری عاملی معرفی می‌کنند و تعاملات چند مرحله‌ای کارآمدتر و دقیق‌تر را در طیف وسیعی از برنامه‌ها ممکن می‌سازند. برای توسعه‌دهندگان و سازمان‌هایی که به ابزارهای مبتنی بر هوش مصنوعی متکی هستند، این پیشرفت‌ها زیرساختی قابل اعتمادتر و با عملکرد بالاتر برای وظایفی مانند برنامه‌نویسی، تحلیل داده و موارد دیگر ارائه می‌دهند.

• nvidia
• ابزارهای هوش مصنوعی
• گردش‌های کاری عاملی
• استریمینگ توکن