אין ארוחות חינם בתשתיות ענן, אבל יש ניסיונות לגרום לכם לחשוב אחרת. אתמול, ב-14 באוקטובר 2026, Vercel הוסיפה לשער ה-AI שלה גישה חופשית למודל Nemotron 3.5 Lightning של חברת NVIDIA. אתם מקבלים חלון הקשר של מיליון טוקנים לצד הפעלת כלים ופלט מובנה, בלי תשלום לפלטפורמה. על הנייר, זה חלום למי שמריץ סוכני רקע או צינורות RAG. במציאות, לא הייתי ממהר להעביר לשם שום דבר חשוב.
יש סיבה טובה מאוד לכך שאנבידיה מחלקת את המשאבים האלה בלי לבקש שקל.
מיליון טוקנים בלי חשבונית
ההשקה של Nemotron 3.5 Lightning בחינם ב-AI Gateway מציגה מודל במשקל פתוח (open-weight) שמחזיק 30 מיליארד פרמטרים בסך הכל. הנתון המעניין כאן הוא הארכיטקטורה: המודל מפעיל רק 3 מיליארד פרמטרים פעילים לכל טוקן. המשמעות היא חיסכון דרסטי בכוח מחשוב, שמאפשר לאנבידיה להגיש אותו דרך התשתית שלה במהירות גבוהה ובזמני תגובה קצרים. המודל מתממשק ישירות דרך AI SDK תחת המזהה nvidia/nemotron-3.5-lightning-free. הוא מיועד להשתלב בלולאות ריצה ארוכות, סוכני משנה ומערכי שאיבת מידע שבהם עלויות הטוקנים הופכות לבור ללא תחתית.
החיבור עצמו פשוט במיוחד. אין צורך לפתוח חשבון נפרד באנבידיה, להגדיר כרטיס אשראי או לנהל מפתחות כפולים. כל הבקשות מנותבות דרך מפתח ה-API הקיים של ורסל, כשהמערכת שומרת על כלי הניטור, מעקב השגיאות והתקציבים הרגילים.
זה נוח, אבל מגיע עם מחיר נסתר.
מלכודת הפרטיות בדוקומנטציה
בדוקומנטציה כתוב שהספק רשאי לשמור את הפרומפטים לצורך שיפור המודל. עבור מפתחים שבונים מערכות ארגוניות או עובדים מול מאגרי לקוחות, המשפט הקצר הזה פוסל את המסלול החינמי על הסף. אי אפשר להשתמש בנקודת הקצה הזו בסביבות פרודקשן שדורשות עמידה בתקני Zero Data Retention, ואי אפשר להזרים דרכה נתונים אישיים או קוד קנייני רגיש.
The provider may retain prompts for model improvement.הודעת השחרור של Vercel
מעבר לשאלת הפרטיות, ורסל לא פרסמה נתונים קריטיים שדרושים להנדסת מערכת אמיתית. נכון לעכשיו אין שום מידע על מגבלות הקצב (Rate Limits), תקרת הטוקנים לדקה (TPM) או מספר הקריאות המקבילות שמותר לבצע לפני שנתקלים בשגיאה. בנוסף, לא פורסם שום הסכם רמת שירות (SLA), ואין תאריך תפוגה רשמי למסלול החינמי. אמנם ורסל מציינת שהשער כולל תמיכה בהגדרת מעקף כשלים (failover) וניסיונות חוזרים, אך להסתמך על נקודת הקצה הניסיונית של אנבידיה כמנוע מרכזי ליישום מסחרי זה הימור פרוע.
הטכנולוגיה שנולדה בתל אביב
היכולת להציע חלון של מיליון טוקנים עם מודל של 30B פרמטרים במהירות כזו אינה מקרית, ויש לה שורשים מקומיים מובהקים. סדרת מודלי Nemotron נשענת במידה רבה על הפיתוחים של הסטארט-אפ הישראלי Deci AI, שנרכש על ידי אנבידיה וצוותו השתלב במרכז המחקר והפיתוח שלה בישראל. דסי התמחתה באופטימיזציה של ארכיטקטורות מודלים והפחתת עלויות עיבוד, והטכנולוגיה הזו ניכרת בעיצוב הנוכחי.
המודל משלב תכנון היברידי מסוג Mixture-of-Experts שמערבב שכבות Mamba-2 יחד עם שכבות MoE ומספר קטן של שכבות Attention מסורתיות. השילוב הזה מאפשר לו לעבד כמויות עצומות של טקסט במחיר חישובי מזערי, תוך שמירה על ביצועים טובים במשימות תחזוקה, המרת נתונים ועיבוד שאילתות RAG. הוא מוגדר כמודל שמיועד למשימות רקע וסוכנים ארוכי ריצה.
איך להריץ בטוח
הדרך היעילה והבטוחה לנצל את ההשקה הזו היא להגדיר לה גבולות גזרה ברורים: משימות רקע פנימיות, סיכומי טיוטות, סיווג נתונים ציבוריים ועיבוד קבצים גולמיים שאינם מכילים סודות מסחריים. בתוך פרויקט TypeScript קיים, כל מה שנדרש הוא להעביר את מחרוזת המודל nvidia/nemotron-3.5-lightning-free לפונקציית streamText של ה-AI SDK, יחד עם הפרומפט המבוקש.
אם אתם עובדים עם כלי פיתוח עצמאיים כמו Claude Code או Cursor, התהליך דורש התקנה של ה-CLI המעודכן של ורסל והרצת הפקודה npx vercel ai-gateway setup בטרמינל. לאחר מכן פשוט בוחרים במודל מתוך הרשימה. זהו פתרון מצוין לחיסכון בתקציב עבור ניסויים ופיתוח בסביבה מקומית, אבל תעצרו את עצמכם לפני שאתם מזרימים לשם קוד פנימי מוגן. חינם זה נחמד, עד שאתם מגלים שאתם המוצר.
מקורות
- Nemotron 3.5 Lightning now available on AI Gateway for freehttps://vercel.com/changelog/nemotron-3-5-lightning-now-available-on-ai-gateway-for-free
- AI SDK with AI Gatewayhttps://vercel.com/docs/ai-gateway/sdks-and-apis/ai-sdk
- OpenAI Chat Completions API with AI Gatewayhttps://vercel.com/docs/ai-gateway/sdks-and-apis/openai-chat-completions
- OpenAI Responses API with AI Gatewayhttps://vercel.com/docs/ai-gateway/sdks-and-apis/responses
- Anthropic Messages API with AI Gatewayhttps://vercel.com/docs/ai-gateway/sdks-and-apis/anthropic-messages-api
- Claude Codehttps://weba.co.il/tools/claude-code/
- Cursorhttps://weba.co.il/tools/cursor/
- Vercelhttps://weba.co.il/tools/vercel/
- TypeScripthttps://weba.co.il/glossary/typescript/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.