מי שנתן לסוכן AI להריץ פקודות מעטפת בשנה האחרונה מכיר את החרדה השקטה הזאת. מרימים סביבת הרצה מבודדת לפקודות של משתמשים, ואז נאלצים לדחוף לתוך הקונטיינר החשוף דווקא את מפתחות ה-API היקרים של המודל. עכשיו ב-Vercel מנסים לסגור את הדלת הזאת. עדכון רשמי שפורסם אתמול מציג תכנון מחדש למתאם של ספריית fx, ומעביר את ניהול השיחות ישירות למכונה המארחת.
הסנדבוקס שלכם כבר לא צריך לדעת איך קוראים ל-Anthropic או ל-OpenAI.
סוף להעברת מפתחות לסנדבוקס
בארכיטקטורה הקודמת, סוכני קוד שהתבססו על HarnessAgent של Vercel נשענו על הרצת כל שרשרת ההחלטות בתוך הסביבה המבודדת. המשמעות המעשית הייתה העברת משתני סביבה עם מפתחות סודיים אל תוך קונטיינר שהמשתמש מקבל אליו גישת מעטפת מלאה. אם המשתמש הצליח לבצע הזרקת פקודות או לקרוא מתוך סביבת הריצה, המפתחות היו על המגש.
פרטי ההזדהות של המודל נשארים במארח במקום להיות מועברים אל תוך הסנדבוקס.ההודעה הרשמית של Vercel
מעכשיו תהליך המארח מנהל את קריאות המודל ישירות, בעוד פעולות קבצים ושל בלבד רצות בסביבה המבודדת. המודל מייצר פקודה, התהליך המארח בודק אותה, שולח רק את הפעולה לביצוע בארגז החול, ומקבל חזרה את הפלט. הסנדבוקס הופך לזרוע ביצוע בלבד, בלי מוח ובלי הרשאות גישה לשירותי ענן.
בלי גשרים ובלי פורטים
השינוי המבני מתאפשר בזכות מעבר לספריית libfx, ספריית TypeScript ייעודית עבור fx. עד היום נדרשו מפתחים להתקין קובץ בינארי של fx בתוך הקונטיינר עצמו. כדי לדבר עם הקובץ הזה, היה צורך להרים תהליך גישור פנימי ולפתוח port רשת ייעודי בתוך הסנדבוקס לתקשורת.
פתיחת פורט ברשת פנימית של סנדבוקס היא תמיד פתח לצרות אבטחה, במיוחד כשהסביבה מריצה קוד לא אמין. העדכון מבטל את התקנת הבינארי בסביבה המבודדת, חוסך את תהליך הגישור ומסיר את החובה לחשוף פורטים. התקשורת מתבצעת ישירות ברמת הספרייה מול תשתית הבידוד.
| פרמטר | הארכיטקטורה הקודמת | הארכיטקטורה החדשה |
|---|---|---|
| מיקום מפתחות המודל | בתוך הסנדבוקס | במארח בלבד |
| התקנת בינארי בסנדבוקס | נדרשת | לא נדרשת |
| חשיפת פורט רשת | נדרשת | אין צורך |
| ספריית בסיס | fx binary וגשר רשת | libfx ב-TypeScript |
| שמירת סשן בין תהליכים | לא נתמך | נתמך במארח חדש |
שליטה בזמן ריצה
מעבר לשינויי התשתית, השכתוב של המתאם מביא סט יכולות שהיו חסרות למפתחים שמשתמשים ב-fx harness. אחת המשמעותיות שבהן היא היגוי באמצע תור, שמאפשר לשלוח הנחיות חדשות לסוכן בזמן שהריצה הנוכחית מתבצעת, בלי לחכות שיסיים רצף פקודות שגוי.
המתאם תומך כעת גם בסינון של כלים מובנים כדי לקבוע בדיוק לאילו פקודות מעטפת יש לסוכן גישה, החזרת פלט מובנה לפי סכמה, החזרת תוצאות של כלי תמונה ישירות למודל דרך toModelOutput, ויכולת לשמור סשנים ולהמשיך אותם בתהליך מארח חדש.
ההבטחה למהירות מחכה למדידה
ההודעה של Vercel מתארת ארכיטקטורה נקייה, אבל החברה לא פרסמה מדדי השהיה או מבחני ביצועים שמראים כמה זמן חיבור נחסך בפועל עם ביטול גשר הרשת. בנוסף, העברת ניהול השיחה ופענוח הנתונים למארח מטילה עומס נוסף של זיכרון ומעבד על השרת הראשי, נקודה קריטית אם אתם מריצים מאות סוכנים במקביל בסביבות Serverless קצרות חיים.
אם יש לכם מערכת שנסמכת על התקנה ידנית של fx בסנדבוקס או על האזנה לפורטים קיימים, השדרוג הזה ידרוש התאמות בקוד התשתית. מה שבאמת מעניין כאן הוא שאין סיבה טובה להמשיך להחזיק מפתחות בסנדבוקס רק מתוך הרגל. כדי להשתמש בארכיטקטורה החדשה צריך לעדכן את החבילה ai-sdk/harness-fx@ לגרסה העדכנית ביותר.
בינתיים, המפתחות שלכם לפחות יפסיקו לטייל בקונטיינרים זרים.
מקורות
- The fx adapter now runs the harness on the hosthttps://vercel.com/changelog/fx-harness-adapter-now-separates-host-and-sandbox
- AI SDK Documentation: fx Harness Adapter Setup and Architecturehttps://ai-sdk.dev/providers/ai-sdk-harnesses/fx
- npm: libfx Package Details & Engine Optionshttps://www.npmjs.com/package/libfx?activeTab=dependents
- Porthttps://weba.co.il/tools/port/
- Vercelhttps://weba.co.il/tools/vercel/
- TypeScripthttps://weba.co.il/glossary/typescript/
הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.