WEBA

חבילת ה-JSON החדשה של Go תפיל שירותים שלא נערכו

שדרוג ל-Go 1.27 מאיץ את הקוד הישן מיד, אבל מעבר יזום ל-v2 שובר הנחות יסוד לגבי תקינות נתונים, רגישות לאותיות ומפתחות כפולים.

568 מילים22 עובדות אומתו

עבודה עם JSON בשרתי קצה תמיד כללה פשרות של ביצועים מול נוחות. אתמול הודיע צוות הפיתוח של שפת Go על שחרור רשמי ויציב של חבילת encoding/json/v2 לצד שכבת התשתית encoding/json/jsontext כחלק מגרסה Go 1.27. לפי ההודעה הרשמית של צוות Go, המטרה הייתה לפתור בעיות תכנון ותקורה שליוו את השפה יותר מ-15 שנה. אבל אם תמהרו לשנות את נתיבי הייבוא שלכם כבר מחר בבוקר, אתם עלולים לגלות שהשרת מפיל בקשות לגיטימיות לגמרי. השדרוג הזה מציע רווח ביצועים מיידי לקוד קיים, לצד מוקש אמיתי למי שמנסה לאמץ את הגרסה החדשה מהר מדי.

שדרוג חינם מול מוקש בייצור

כשאתם מעלים את גרסת השפה של הפרויקט ל-Go 1.27, אתם לא חייבים לגעת בשורת קוד אחת. החבילה הוותיקה encoding/json, המכונה כעת v1, נשארת פעילה תחת הבטחת התאימות לאחור של Go 1. היא מופעלת כעת מעל המנוע החדש במצב תאימות, ומספקת שיפורי מהירות וחיסכון בהקצאות זיכרון בלי מאמץ מצדכם. הבעיה מתחילה ברגע שמפתח מחליף ידנית את נתיב הייבוא ל-encoding/json/v2 כדי להרוויח את הממשקים המודרניים.

מעבר יזום לחבילת v2 אינו רק שינוי ממשק, אלא החמרה מכוונת של כללי התחביר שתכשיל קלט שהחבילה הישנה קיבלה בשקט.

החבילה החדשה נפרדת לחלוטין ברמת מרחב השמות כדי לא לשבור קוד ישן. בזמן ש-v1 סלחה על חריגות תחביריות מגוונות כדי לשמור על יציבות היסטורית, v2 נועדה ליישר קו מחמיר עם התקנים הבינלאומיים של הרשת. אם הקוד שלכם מקבל קלט ממערכות צד שלישי שאינן בשליטתכם, ההבדל הזה יורגש מיד בזמן ריצה.

מפתחות כפולים ואותיות גדולות

ההבדל המשמעותי ביותר בין הגרסאות נוגע לתקינות הנתונים. חבילת v1 קיבלה בשקט מחרוזות שהכילו קידוד UTF-8 פגום. לעומת זאת, חבילת v2 דוחה קלט כזה וזורקת שגיאה באופן מיידי, לפי דרישות התקן העדכני. בישראל ובמערכות המעבדות שמות או טקסטים חופשיים בעברית, חיתוך בתים שגוי במחרוזת שבעבר עבר בשלום יגרום עכשיו לפסילת הבקשה כולה.

ברירת המחדל צריכה לדווח על שגיאה בנוכחות UTF-8 לא תקין, במקום להחדיר השחתת נתונים שקטה שעלולה לגרום לבעיות בהמשך הזרם.צוות Go, מתוך ההכרזה הרשמית

שינוי קריטי נוסף מונע כשל אבטחה ידוע: פסילת מפתחות כפולים באותו אובייקט. בעבר המנוע דרס ערכים או בחר אחד מהם באופן שרירותי, דפוס שנוצל בעבר לפרצות כמו CVE-2017-12635. כעת v2 פוסלת מפתחות כפולים לחלוטין. בנוסף, פענוח שדות הפך לתלוי רישיות (case-sensitive) כברירת מחדל. שירותים חיצוניים ששולחים פתאום שדה באותיות קטנות למבנה נתונים שמצפה לאותיות גדולות יגרמו לכך שהשדה יישאר ריק. אם תרצו לדעת מה המערכת שלכם מפספסת, זה המקום שבו הלוגים שלכם יתחילו לצעוק.

הזרמה אמיתית במקום הקצאות כפולות

מתחת למכסה המנוע, הארכיטקטורה חולקה לשתי שכבות נפרדות. החבילה encoding/json/jsontext מטפלת ברמה התחבירית הטהורה של תווים וטוקנים ללא שימוש במנגנון הרפלקציה של Go. מעליה יושבת החבילה v2, שאחראית על המיפוי הסמנטי לתוך מבני הנתונים של השפה. החלוקה הזו מאפשרת טיפול אמיתי בהזרמת נתונים, במקום לשמור את כל גוף המידע בזיכרון המחשב כפי שעשו הטיפוסים הקודמים.

הממשקים החדשים MarshalJSONTo ו-UnmarshalJSONFrom עובדים ישירות מול אובייקטים מסוג Encoder ו-Decoder. המבנה הזה פותר בעיה ארוכת שנים שבה פענוח מותאם אישית אילץ את המנוע לקרוא את המידע פעמיים, לבודד גבולות ולהקצות מערכי בתים מיותרים. במערכות API עתירות עומס ושרתי ענן, ביטול ההקצאות הכפולות חוסך לחץ קריטי מגובי האשפה (Garbage Collector) של השפה.

השוואת התנהגויות ברירת המחדל בין חבילת v1 לחבילת v2
תכונהencoding/json (v1)encoding/json/v2
תווי UTF-8 שגוייםמתקבלים בשקט תוך השחתת מידעדחייה מיידית עם שגיאה
מפתחות כפולים באובייקטדריסה שרירותית של ערכיםדחייה מיידית עם שגיאה
התאמת אותיות בשמות שדותהתאמה ללא תלות באותיות גדולות או קטנותהתאמה מדויקת בלבד (case-sensitive)
סלייסים ומפות ריקים (nil)קידוד לערך nullקידוד למערך או אובייקט ריק
ממשקי הזרמה ייעודייםאין, דורש פענוח כפול והקצאות זיכרוןממשקי MarshalJSONTo ו-UnmarshalJSONFrom ישירים

מתי להגר ומתי להמתין

לא הייתי ממהר לבצע חיפוש והחלפה גורף בכל מאגר הקוד שלכם.

הנתיב הבטוח ביותר לרוב צוותי הפיתוח הוא מעבר מסודר לגרסת Go 1.27 והמשך עבודה עם חבילת v1 הרגילה. כך תיהנו מיד ממנוע יעיל יותר בלי לקחת שום סיכון של שבירת חוזים מול לקוחות קיימים.

את המעבר אל v2 כדאי לבצע באופן ממוקד בנקודות קצה ספציפיות, בעיקר כאלו המטפלות בנפחי תעבורה כבדים או מערכות הדורשות סטנדרטים נוקשים של אבטחה. לפני שמנתבים קלט חיצוני למפענח החדש, ודאו בבדיקות אוטומטיות שהקליינטים שלכם אינם שולחים מפתחות כפולים או וריאציות של אותיות קטנות. ספריות צד שלישי ייעודיות לביצועים עדיין מציגות יתרונות בתרחישים מסוימים, כך שאין סיבה לזרוק אותן לפח כבר השבוע. החוזים הישנים עדיין שולטים ברשת.

מה לעשות עכשיושדרגו את גרסת השפה ל-Go 1.27 כדי להרוויח שיפורי ביצועים ב-v1, והימנעו מהסבה גורפת ל-v2 לפני שמיפיתם את תאימות הקלט מול הלקוחות.

מקורות

הידיעה נכתבה מהמקורות שלמעלה בתאריך הפרסום, וכל טענה בה נבדקה מולם. מצאתם טעות? כתבו.

מה שואלים על זה

האם פרויקט שמשתדרג ל-Go 1.27 יישבר אוטומטית אם לא ייגעו בקוד?

לא. חבילת encoding/json הקלאסית (v1) שומרת על תאימות מלאה לאחור. היא נשענת על התשתית החדשה תחת מצב תאימות שאינו משנה את התנהגות ברירת המחדל הישנה.

מה קורה למחרוזות עבריות פגומות בזמן פענוח ב-v2?

בעוד שחבילת v1 קיבלה בתים שגויים והעבירה אותם הלאה, חבילת v2 פוסלת כל קלט שאינו מכיל רצף UTF-8 תקין ומחזירה שגיאת פענוח מיידית.

איך מתמודדים עם שירותים חיצוניים ששולחים שדות באותיות קטנות לתוך שדות ב-Go באותיות גדולות?

ב-v2 התאמת השדות היא תלוית רישיות כברירת מחדל. כדי לקבל שדות באותיות קטנות ללא שגיאה יש להגדיר תגיות struct מתאימות או להעביר אפשרויות התאמה ייעודיות בעת הפענוח.

האם כדאי להחליף ספריות ביצועים ייעודיות כמו sonic בחבילה החדשה כבר עכשיו?

עדיף להמתין. חבילת v2 משפרת מאוד את ביצועי הליבה וממשקי ההזרמה, אך ספריות ממוקדות ביצועים קיצוניים עדיין עשויות להיות מהירות יותר עד שיתאימו את עצמן למבנה החדש.