WEBA

מתאם fx של Vercel מרחיק את מפתחות ה-API מסביבת ההרצה

שכתוב מבוסס ספריית libfx מפריד בין ניהול המודל במארח לביצוע פקודות בסנדבוקס, ומבטל את הצורך בפתיחת פורטים רגישים ברשת.

436 מילים23 עובדות אומתו

מי שנתן לסוכן AI להריץ פקודות מעטפת בשנה האחרונה מכיר את החרדה השקטה הזאת. מרימים סביבת הרצה מבודדת לפקודות של משתמשים, ואז נאלצים לדחוף לתוך הקונטיינר החשוף דווקא את מפתחות ה-API היקרים של המודל. עכשיו ב-Vercel מנסים לסגור את הדלת הזאת. עדכון רשמי שפורסם אתמול מציג תכנון מחדש למתאם של ספריית fx, ומעביר את ניהול השיחות ישירות למכונה המארחת.

הסנדבוקס שלכם כבר לא צריך לדעת איך קוראים ל-Anthropic או ל-OpenAI.

סוף להעברת מפתחות לסנדבוקס

בארכיטקטורה הקודמת, סוכני קוד שהתבססו על HarnessAgent של Vercel נשענו על הרצת כל שרשרת ההחלטות בתוך הסביבה המבודדת. המשמעות המעשית הייתה העברת משתני סביבה עם מפתחות סודיים אל תוך קונטיינר שהמשתמש מקבל אליו גישת מעטפת מלאה. אם המשתמש הצליח לבצע הזרקת פקודות או לקרוא מתוך סביבת הריצה, המפתחות היו על המגש.

פרטי ההזדהות של המודל נשארים במארח במקום להיות מועברים אל תוך הסנדבוקס.ההודעה הרשמית של Vercel

מעכשיו תהליך המארח מנהל את קריאות המודל ישירות, בעוד פעולות קבצים ושל בלבד רצות בסביבה המבודדת. המודל מייצר פקודה, התהליך המארח בודק אותה, שולח רק את הפעולה לביצוע בארגז החול, ומקבל חזרה את הפלט. הסנדבוקס הופך לזרוע ביצוע בלבד, בלי מוח ובלי הרשאות גישה לשירותי ענן.

בלי גשרים ובלי פורטים

השינוי המבני מתאפשר בזכות מעבר לספריית libfx, ספריית TypeScript ייעודית עבור fx. עד היום נדרשו מפתחים להתקין קובץ בינארי של fx בתוך הקונטיינר עצמו. כדי לדבר עם הקובץ הזה, היה צורך להרים תהליך גישור פנימי ולפתוח port רשת ייעודי בתוך הסנדבוקס לתקשורת.

פתיחת פורט ברשת פנימית של סנדבוקס היא תמיד פתח לצרות אבטחה, במיוחד כשהסביבה מריצה קוד לא אמין. העדכון מבטל את התקנת הבינארי בסביבה המבודדת, חוסך את תהליך הגישור ומסיר את החובה לחשוף פורטים. התקשורת מתבצעת ישירות ברמת הספרייה מול תשתית הבידוד.

השוואה בין ארכיטקטורת fx הישנה לארכיטקטורה החדשה
פרמטרהארכיטקטורה הקודמתהארכיטקטורה החדשה
מיקום מפתחות המודלבתוך הסנדבוקסבמארח בלבד
התקנת בינארי בסנדבוקסנדרשתלא נדרשת
חשיפת פורט רשתנדרשתאין צורך
ספריית בסיסfx binary וגשר רשתlibfx ב-TypeScript
שמירת סשן בין תהליכיםלא נתמךנתמך במארח חדש

שליטה בזמן ריצה

מעבר לשינויי התשתית, השכתוב של המתאם מביא סט יכולות שהיו חסרות למפתחים שמשתמשים ב-fx harness. אחת המשמעותיות שבהן היא היגוי באמצע תור, שמאפשר לשלוח הנחיות חדשות לסוכן בזמן שהריצה הנוכחית מתבצעת, בלי לחכות שיסיים רצף פקודות שגוי.

המתאם תומך כעת גם בסינון של כלים מובנים כדי לקבוע בדיוק לאילו פקודות מעטפת יש לסוכן גישה, החזרת פלט מובנה לפי סכמה, החזרת תוצאות של כלי תמונה ישירות למודל דרך toModelOutput, ויכולת לשמור סשנים ולהמשיך אותם בתהליך מארח חדש.

ההבטחה למהירות מחכה למדידה

ההודעה של Vercel מתארת ארכיטקטורה נקייה, אבל החברה לא פרסמה מדדי השהיה או מבחני ביצועים שמראים כמה זמן חיבור נחסך בפועל עם ביטול גשר הרשת. בנוסף, העברת ניהול השיחה ופענוח הנתונים למארח מטילה עומס נוסף של זיכרון ומעבד על השרת הראשי, נקודה קריטית אם אתם מריצים מאות סוכנים במקביל בסביבות Serverless קצרות חיים.

אם יש לכם מערכת שנסמכת על התקנה ידנית של fx בסנדבוקס או על האזנה לפורטים קיימים, השדרוג הזה ידרוש התאמות בקוד התשתית. מה שבאמת מעניין כאן הוא שאין סיבה טובה להמשיך להחזיק מפתחות בסנדבוקס רק מתוך הרגל. כדי להשתמש בארכיטקטורה החדשה צריך לעדכן את החבילה ai-sdk/harness-fx@ לגרסה העדכנית ביותר.

בינתיים, המפתחות שלכם לפחות יפסיקו לטייל בקונטיינרים זרים.

מה לעשות עכשיועדכנו את החבילה ai-sdk/harness-fx@ לגרסה האחרונה והסירו את מפתחות ה-API והגדרות הפורטים מקונטיינר הסנדבוקס.

מקורות

הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.

מה שואלים על זה

האם המעבר לארכיטקטורה החדשה דורש שינוי בקוד הקריאה למודל?

הקריאות למודל עצמו נשארות זהות דרך ממשק HarnessAgent, אך יש לעדכן את תלויות הפרויקט לחבילת ai-sdk/harness-fx@ העדכנית ולהסיר סקריפטים שהתקינו את הבינארי של fx בסנדבוקס.

איך משפיע העדכון על אבטחת מפתחות ה-API בפועל?

המפתחות ופרטי ההזדהות של שירותי ה-AI נשמרים בתהליך האפליקציה המארחת בלבד ואינם מוזרקים כמשתני סביבה לתוך הקונטיינר המבודד, כך שקוד שרץ בסנדבוקס אינו יכול לגשת אליהם.

מה קורה לסשן קיים אם תהליך המארח קורס או מאותחל מחדש?

העדכון החדש כולל תמיכה בשמירת מצב הסשן ובטעינתו מחדש בתוך תהליך מארח נפרד, מה שמאפשר המשכיות עבודה גם לאחר איתחול השרת.