WEBA

מנוע הניתוב של GitHub הגיע לעורך ויעלה בטוקנים

GitHub משלבת את HydraFusion בתוך VS Code כדי לחבר כמה מודלים במקביל, אבל שרשור הבדיקות עלול להכפיל את העלויות על כל שורת קוד.

482 מילים21 עובדות אומתו

בחירת מודל שפה הפכה להגרלה יומיומית בעורך הקוד. רגע אחד אתם צריכים מהירות בשביל פונקציית עזר, ורגע אחרי שוברים את הראש על ארכיטקטורה ומתלבטים אם להחליף מודל ידנית. אתמול, לפי ההודעה הרשמית בבלוג של GitHub, החברה החליטה לחתוך את הדילמה. היא הוציאה את HydraFusion משורת הפקודה, והכניסה אותו ישירות לתוך עורך הקוד ואפליקציית הדסקטופ של GitHub Copilot.

לא הייתי ממהר להפעיל אותו בכל פרויקט.

לא מודל אלא נתב

כשפותחים את תפריט המודלים בצ'אט של Visual Studio Code, קל לחשוב שמדובר בעוד מתחרה שמגיע ממעבדות הפיתוח. זה לא המצב. HydraFusion אינו מודל שפה עם משקולות משלו, אלא מנוע תזמור וניתוב שרץ בזמן אמת ומקבל החלטות על כל בקשה. המערכת מנתחת את אופי השאלה בעזרת מדדי היסק, יצירת קוד, איתור שגיאות ושימוש בכלים חיצוניים, במטרה להריץ את השאילתה במינימום משאבים.

HydraFusion מתייחס לבחירת זרימת העבודה כאל בעיית אופטימיזציה.GitHub Changelog

בדוקומנטציה של GitHub מבהירים שההבדל בינו לבין מצב הבחירה האוטומטי הרגיל נעוץ בעומק ההתערבות. מצב Auto רק בוחר מודל יחיד עבור השאילתה ושולח אותה אליו. HydraFusion, לעומת זאת, מפעיל רצף מתואם של כמה מודלים בתוך סבב שיחה בודד.

שלושה מסלולים לפתרון בעיה

כדי להתמודד עם פקודות שונות, המנוע נשען על שלושה דפוסים מוגדרים: Single, Cascade ו-Critique. במסלול הראשון, המערכת מזהה שהמשימה פשוטה ומפנה אותה למודל בודד שפותר אותה מיד ללא שלבים נוספים. זה המסלול הישיר והמוכר, שאינו מייצר תקורה חריגה בזמן העבודה.

המסלול השני, Cascade, שולח את הבקשה למודל מהיר שינסח טיוטה ראשונית, ואז בקר איכות מובנה מחליט אם להעביר את הטיפול למודל כבד יותר. המסלול השלישי הוא Critique. כאן מודל ראשון מייצר את הקוד, מודל עצמאי ממשפחה אחרת בוחן את הפלט במצב קריאה בלבד כמו בשיטת Rubber Duck, והמודל המקורי מקבל הזדמנות אחת לתקן את התוצאה לפני שהיא נכתבת בחלון שלכם.

השוואת דפוסי העבודה של מנוע הניתוב
דפוס פעולהאיך זה עובד בפועלצריכת טוקנים יחסיתזמן תגובה משוערמתי כדאי להשתמש
Singleמודל בודד שנבחר מטפל במשימה באופן ישירבסיסית (סבב יחיד)מהירשאילתות קוד פשוטות והשלמות שגרתיות
Cascadeמודל חסכוני מנסח טיוטה ובקר איכות מחליט אם להסליםמשתנה (סבב בסיסי או כפול)בינונימשימות ברמת מורכבות בינונית
Critiqueמודל מנסח, מודל ממשפחה אחרת מבקר, והראשון מתקןגבוהה (חיוב מצטבר על שלושה שלבים)איטיאלגוריתמים מורכבים וניפוי שגיאות עדינות

המחיר האמיתי נמדד בטוקנים

ההבטחה לקוד נקי מבאגים מפתה, אבל החישוב הכלכלי מאחורי הקלעים דורש זהירות. כל שלב בשרשרת, מהטיוטה הראשונית, דרך ניתוח הביקורת ועד התיקון הסופי, צורך טוקנים של קלט ופלט שנצברים בחשבון שלכם. אם אתם עובדים על פרויקט עם תקציב מוגדר, השרשור הזה עלול לרוקן את המכסה בקצב מהיר בהרבה.

נוסף לעלויות, הפינג פונג בין המודלים השונים לוקח זמן. ב-GitHub הוסיפו שקיפות על שלבי הניתוב והתראות התקדמות בזמן אמת כדי שלא תחשבו שהעורך נתקע במשימות ארוכות. עדיין, ההמתנה הזו מורגשת היטב ברצף העבודה השוטף.

עבור חברות בישראל שמחזיקות ברישיונות ארגוניים, יש כאן מכשול נוסף. התכונה מוגדרת כרגע כ-Research Preview בלבד. ארגונים רבים בארץ חוסמים כברירת מחדל יכולות ניסיוניות מטעמי אבטחה ותאימות. בנוסף, המערכת לא מאפשרת להגביל ידנית אילו מודלים ישתתפו בתהליך, מה שמקשה על צוותים שחייבים לעמוד בכללי רגולציה קשיחים.

איך להפעיל ומתי לכבות

אם אתם מנויי Copilot בתשלום ומעוניינים לבדוק את הביצועים, תצטרכו לעבוד בגרסת VS Code 1.140 ומעלה. אם השם HydraFusion לא מופיע בתפריט המודלים בצ'אט, חפשו בהגדרות העורך את `chat.copilot.hydraFusion.enabled` והפעילו אותו. בארגונים, מנהל המערכת יידרש לאשר שימוש בתכונות תצוגה מקדימה לפני שההגדרה תעבוד בפועל.

ההמלצה המעשית היא לא להשאיר את המנגנון הזה דולק בקביעות. שמרו אותו למקרים שבהם נתקעתם מול בעיית לוגיקה מסובכת או מודול קריטי שדורש זוג עיניים נוסף. לכל משימת תחזוקה רגילה, בחירה ידנית במודל ממוקד תחסוך כסף ושניות יקרות מול המסך.

בינתיים, הכפתור בעורך מחכה שתחליטו אם לבדוק אותו.

מה לעשות עכשיוהפעילו את HydraFusion רק בניפוי שגיאות מורכב, והשביתו אותו בעבודה שוטפת כדי למנוע צריכת טוקנים כפולה והשהיות מיותרות.

מקורות

הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.

מה שואלים על זה

האם HydraFusion זמין למשתמשי חשבון ארגוני?

כן, השירות נתמך בחשבונות מסוג Business ו-Enterprise, אך הוא מוגדר כגרסת תצוגה מקדימה ומחייב אישור מפורש של מנהל המערכת בהגדרות הארגון לפני שיופיע בעורך.

האם אפשר לבחור אילו מודלים ישתתפו בתהליך הביקורת?

לא. המנוע קובע בעצמו את חלוקת העבודה ואת זהות המודל המבקר על בסיס אותות היכולת של המשימה, ללא אפשרות להגדרה או סינון ידני מצד המפתח.

מה ההבדל בין HydraFusion למצב Auto הרגיל ב-Copilot?

מצב Auto בוחר מודל יחיד עבור כל בקשה, בעוד ש-HydraFusion מתזמר ומפעיל כמה מודלים בזה אחר זה בתוך אותו סבב שיחה לצורך ביקורת ותיקון.