ולמרות זאת – בנט וסיבתיות

(820 מילים)

[עדכון: הוספתי תיקון קטן לתיאור שהיה כאן קודם. המחקר בוודאי מתייחס להבדלים בין מדינות, פשוט לא תיארתי אותו בצורה מספיק מדויקת]

נפתלי בנט שעשע השבוע את אומת הפייסבוק.  בפוסט שגרר אינסוף הסתלבטויות (מוצדקות…), טען בנט שהעובדה שתלמידי חמש יחידות במתמטיקה מרוויחים יותר כסף מחבריהם שלמדו רק ארבע או שלוש יחידות, היא הוכחה(!) לכך שכדאי לתלמידים להתאמץ יותר וללמוד חמש יחידות במתמטיקה. בדיחה בדיחה, אבל יש מצב שבנט צודק בשורה התחתונה, וחצמזה – זו הזדמנות לדבר על איך עושים מחקר רציני במדעי החברה.

כשרגרסיה לא מספיקה

הבעיה המובנת מאליה היא כמובן שיש סיבה לכך שאנשים בוחרים ללמוד שלוש או ארבע או חמש יחידות במתמטיקה, ויכול להיות שהסיבה הזו – חריצות, סקרנות, יכולת להתמודד עם תסכול, וכן, גם אי.קיו – היא זו שקובעת את השכר, ולא עצם הבחירה בכמות היחידות לבגרות במתמטיקה.

אפשר לנסות לשפר את מדידת הקשר בין לימודי מתמטיקה ובין השכר דרך טכניקה שנקראת רגרסיה. בלי להיכנס לכל הפרטים הטכניים, הרעיון של רגרסיה הוא שהיא לא סתם משווה בין התלמיד הממוצע בחמש יחידות מתמטיקה ובין, נניח, התלמיד הממוצע בארבע יחידות. רגרסיה מאפשרת להשוות בין שני תלמידים מאד דומים (ברקע סוציו-אקונומי, גיל, מין, ציונים במקצועות אחרים, וכו'), שאחד מהם לומד בחמש יחידות והשני בארבע יחידות. בעגה של מדעי החברה קוראים לזה "לשלוט" במשתנים האחרים. והמסקנה תהיה משהו בסגנון הזה: גם לאחר שליטה במשתנים כמו הכנסת ההורים וציונים במקצועות אחרים, תלמיד בחמש יחידות ירוויח יותר מאשר תלמיד בארבע יחידות. אפשר להמשיך ולעדן את הטיעון לכיוון שבנט לקח אותו, ולהשוות בין תלמיד שקיבל 60 בחמש יחידות ותלמיד שקיבל 80 בארבע יחידות, אבל אלו פרטים לא חשובים. מה שחשוב הוא שגם זה, כמובן, לא פותר את הבעיה.

יש שפע של דברים שאף חוקר אף פעם לא יוכל לדעת, ושמשפיעים על ההחלטה כמה יחידות מתמטיקה ללמוד, ועל השכר, ואין מאגר נתונים על מוטיבציה וסקרנות של תלמידים. בסופו של דבר, יש הבדל חשוב שאנחנו יודעים בודאות שקיים בין תלמידה בחמש יחידות ותלמידה בארבע יחידות: התלמידה שלמדה בחמש יחידות מתמטיקה בחרה ללמוד חמש יחידות במתמטיקה. אם תלמידים לא מושלכים באופן מקרי לכיתות של שלוש, ארבע, או חמש יחידות, גם אם נוסיף 300 משתנים לרגרסיה, אי אפשר יהיה לפרש את התוצאות כמצביעות על קשר סיבתי בין לימודי מתמטיקה ושכר. נדמה לי שנפתלי בנט יודע את זה, וגם מרכז טאוב יודעים את זה. מה גורם להם להתעלם ממה שהם יודעים זו שאלה טובה.

לא הכל אבוד!

לפעמים החיים מזמנים לנו אירוע שיכול לעזור לבצע הסקה סיבתית תקפה גם במקרים קשים כמו לימודי מתמטיקה, וזה בדיוק מה שג'ושוע גודמן מצא. במאמר עם שם שנון למדי שאי אפשר לתרגם לעברית, The Labor of Division, גודמן חקר מה קרה לתלמידים שלמדו יותר מתמטיקה, אבל, וזה כמובן כל הקטע – מבלי שהם בחרו ללמוד יותר מתמטיקה. התוצאה מעניינת, אפשר למצוא בה תמיכה מסוימת לשורה התחתונה של בנט, ובעיקר – היא דוגמה מצוינת למחקר טוב.

המחקר של גודמן בונה על סדרה של רפורמות שבהן מדינות בתוך ארה"ב שינו את דרישות הסף שלהן לקבלת תעודה של סיום תיכון. הרקע, אגב, למרות שהוא לא העניין פה, מעניין מדי מכדי לדלג על הנושא. בשנת 1983 יצא בארה"ב דו"ח "אומה בסיכון", שהתריע – אני לא ממציא – שרמת החינוך, ובפרט רמת החינוך למדעים בארה"ב מהווה סכנה איסטרטגית. כן, כן. אין חדש תחת השמש… אבל נחזור לגודמן. בקיצור, בעקבות הדו"ח יושמו במדינות ארה"ב רפורמות חינוכיות, שבין השאר דרשו מבתי הספר ללמד יותר מתמטיקה. עכשיו אפשר להתחיל לדבר על הסקה סיבתית תקפה, כי החל משנה מסוימת תלמידים הוכרחו ללמוד יותר מתמטיקה, והבעיה הגדולה שלנו – שתלמידים בוחרים מה ללמוד (או במקרה האמריקאי – בתי ספר בוחרים מה ללמד) מסיבותיהם הם, ולא באופן מקרי, כמעט לגמרי נעלמת.  אם ניקח שתי תלמידות שזהות בכל המאפיינים שהחוקר יכול לראות – רקע, ציונים במקצועות אחרים, גיל, וכו' – ושכל ההבדל ביניהן הוא שאחת מהן למדה יותר מתמטיקה כי היא במקרה שנה אחת צעירה יותר, ולכן הושפעה מהרפורמות, אז אפשר להתחיל לדבר על  ההבדל ביניהן בתור התמורה ללימודי מתמטיקה, לא?

לא!

כמובן שלא. הרי יש עוד הבדל חשוב בין שתי התלמידות האלו – אחת מהן מבוגרת בשנה אחת, ולכן הייתה חשופה, אולי, לעוד שפע השפעות שונות: אולי, למשל, שנת הסיום שלה הייתה שנה טובה במיוחד בשוק העבודה? זמן הוא גורם חשוב, ולכן אי אפשר לקבל את הטענה שההבדל בין תלמידות משנה א' לתלמידות משנה ב' נובע כולו מהעובדה שרק התלמידות בשנה ב' היו חשופות להשפעות הרפורמה.

התשובה של גודמן לקושי הזה היא שימוש בעובדה שמדינות שונות בתוך ארה"ב הגיבו בקצב שונה לפניקה של "אומה בסכנה", ולכן מדינות שונות החילו את הרפורמות שלהן בשנים שונות. גודמן גם מראה שבכל הנוגע לרמת המתמטיקה לפני הרפורמות, אין הבדלים משמעותיים בין מדינות שאימצו רפורמות מוקדם יותר ומדינות שאימצו אותן מאוחר יותר. עכשיו ההשוואה של גודמן היא יותר ניואנסית, והרבה יותר משכנעת, והיא הולכת בערך כך: האם, יחסית לממוצע במדינה שלהן, יש הבדל בשכר העתידי בין (קחו אויר) – שתי תלמידות שהיו במערכת החינוך בדיוק אותן השנים, ושכל המאפיינים שלהן דומים, אבל שאחת מהן גרה במדינה שביצעה את הרפורמות מוקדם יותר, והשניה גרה במדינה שאמצה את הרפורמות מאוחרת יותר?

reform_us

התשובה: כן. יש הבדל. משמעותי (ומובהק סטטיסטית). תגבור המתמטיקה ברפורמות המדוברות תרם בין 5% ל 9% לשכר. ואם במיוחד מעניין אתכם, ההבדל הגדול ביותר נרשם בקרב תלמידים בנים, שחורים. אז יש הבדלים בין ארה"ב וישראל, ויש הבדל בין להוסיף שעות לימוד במתמטיקה (לב הרפורמה בארה"ב) ובין לבקש מתלמידים להתאמץ, אבל – יש סיכוי שלימודי מתמטיקה באמת משפרים את השכר העתידי.

מיטיבי לכת מוזמנים להתווכח עם כל תו ותג במאמר כאן.

מודעות פרסומת

15 תגובות בנושא “ולמרות זאת – בנט וסיבתיות”

  1. פוסט מעניין,וכתוב מצוין. תודה!

    ובכל זאת, גם אם נניח שהטיעון של המאמר תקף ושכל התגים שאפשר להתווכח עליהם הם בסה"כ בסדר, עדיין תהיה לו המגבלה הבאה: מחקר כזה עשוי להוכיח סיבתיות – אבל רק סיבתיות שהתקיימה במערכת החינוך האמריקאית, בשוק העבודה האמריקאי ובחברה האמריקאית בשנות ה 80.
    קשה מאוד לדעת מה אפשר להסיק מזה על היכולת של לימודי המתמטיקה בבתי הספר בישראל לתרום למשכורת בשוק העבודה הישראלי, שמתקיימים בחברה הישראלית בשנת 2015.

    אהבתי

    1. זה כמובן נכון, וזה תמיד נכון. למחקרים אמפיריים במדעי החברה, גם הטובים ביותר שבהם, צריכים להתייחס בזהירות רבה, בדיוק מהסיבה הזו. שום דבר לא הוכח במחקר הזה, ועדיין אי אפשר להגיד שעכשיו אנחנו מבינים איך העולם עובד, אבל – זה צעד אחד קדימה לעומת מה שהיה ידוע קודם.

      אהבתי

  2. אבל האם ההשוואה בין תלמידות במדינות שונות לא מתעלמת מההבדלים בין המדינות? הלא ארה"ב אינה חברה הומוגנית, ויש הבדלים משמעותיים ברמת החינוך באופן כללי, ברמת ההכנסה, האבטלה, אחוז המיעוטים, אחוז המהגרים, רמת הגזענות (עד כמה שזה מדיד – זה בהחלט משפיע על חינוך ועל רמת הכנסה)…… בין מדינה למדינה. לצורך העניין, מיסיסיפי אימצה את הרפורמות מאוחר יותר מווירג'יניה, אבל היא גם מדינה ענייה יותר באופן כללי, עם רמת אבטלה גבוהה יותר, אחוז גדול יותר של שחורים, שכר נמוך יותר למורות (ועוד ועוד, אלה רק הדברים שאני יודעת "מהראש"). אין לכל אלה השפעה?

    אהבתי

    1. לגמרי, אבל פשלה שלי… תיארתי את הפייפר לא כל כך טוב – כל תלמיד מושווה לממוצע במדינה שלו (כלומר, משוואת הרגרסיה כוללת משתנה "מדינה"). השאלה היא האם, יחסית לממוצע במדינה, תגבור במתמטיקה משפר את השכר העתידי של מי שקיבל תגבור כזה. לכן עצם זה שיש הבדל בין מיסיסיפי לקליפורניה לא מקלקל יותר מדי. יכולה להיות בעיה אם אנחנו חוששים שההשפעה של תגבור במתמטיקה שונה בין מדינה למדינה. במקרה כזה קשה לי לראות איך אפשר להציל את המחקר הזה…

      אהבתי

      1. בוא נניח שיש הטרוגניות בהשפעה, מה הבעיה? עדיין במדינה אחת לא הייתה התערבות, ולכן לא הייתה לה השפעה, כלומר עדיין מוצג ממוצע ההשפעה למדינה שהפעילה את התכנית.
        על פי זכרוני, השפעה הטרוגנית עלולה להטות את בדיקת ההשפעה, אם המשתנים המסבירים את ההטרוגנית הם גם מסבירים את ההצטרפות לתכנית. בכזה מקרה הוספתם לרגרסיה לא בדיוק תסייע. אבל לא נראה לי שזה הסיפור.

        אהבתי

      2. אבל משהו אחר, אם ההבדל בין הכיתות לממוצע במדינה שונה בין המדינות, כי אז אמידת ההשפעה מוטה. האם הוא מתמודד עם זה?

        אהבתי

      3. אני חושב שאם יש הטרוגניות בהשפעה של מתמטיקה בין פרטים, אז אין בעיה, אבל אם יש הטרוגניות משמעותית בין המדינות, אז יכולה להיות בעיה. בין השאר כי המדגם של מדינות הוא לא גדול.

        הוא מסתכל על מה השפיע על הצטרפות לתכנית, וטוען שהוא לא חושב שיש גורמים משמעותיים.

        אהבתי

      4. אם יש הטרוגניות בהשפעה, בנוסף המשתנים המסבירים את ההטרוגניות מסבירים גם את ההחלטה האם לקבל את הטיפול, כי אז התוצאות עלולות להיות מוטות (מקור: הגדולים בתחום כמו Heckman ו-Imbans).
        בקשר לשונות בין המדינות, הם דגמו פרטים ולא מדינות (תראה את ה-N)..
        הם השתמשו במודל הפרש ההפרשים קלאסי עם הנחה של fixed effect, (הם השוו בתוך המדינות ובין המדינות כתחליף להפרש בתקופות). הנחת המודל היא שללא הטיפול, הפרש ההפרשים היה אפס..
        לכן אני לא מבין מה המשמעות של מספר המדינות או ההטרוגניות ביניהם. להבנתי, השאלה החשובה, האם ללא ההתערבות, ההפרש בתוך המדינות היה זהה במדינות השונות. אם ההפרש היה זהה, כי אז ההטרוגניות בין המדינות אינה מעניינת כי ההשוואה אינה לערכי המדינות אלא להפרשים בין המדינות ולא לערכים.

        אהבתי

      5. ברור שהם עבדו עם נתונים ברמת הפרט. אני צריך לחשוב שוב על מה שאתה אומר על הטרוגניות בין מדינות. יכול להיות שאתה צודק.

        אהבתי

  3. באמת מעניין, אחת ההתייחסיות היותר משכנעות שראיתי לנושא. עם זאת, לדעתי הכוונה המרכזית של בנט היא לא שהלימודים מפתחים אצל התלמיד את היכולות שיעזרו לו להרוויח משכורת טובה יותר, אלא בעיקר הנקודה שחמש יחידות מתמטיקה זה משהו נחשב שאחר כך יוכל לעזור לו להרשים מראיינים בראיונות עבודה, או לעמוד בתנאי סף באוניברסיטה. לכן יש חשיבות לעובדה שהתלמיד לא סתם למד יותר מתמטיקה – אלא עשה זאת במודע וקיבל "הישג", אולי אפילו "מעמד", לנפנף בו מול מעסיקים פוטנציאלים או אוניברסיטאות.

    Liked by 1 person

    1. הבעיה עם הסוג הזה של טיעון היא שככל שיותר תלמידים יקחו את העצה של בנט ויעשו חמש יחידות מתמטיקה, כך יהיה לזה פחות משקל בראיונות עבודה ובאוניברסיטה.

      אהבתי

  4. אני חושב שהטענה שהצגת שהבחירה בחמש יחידות נובעת מ״חריצות, סקרנות, יכולת להתמודד עם תסכול, וכן, גם אי.קיו״ והם אלה שבאמת קובעים את השכר נכונה, אבל הקשר הוא דו כיווני – לימודי מתמטיקה משפרים את היכולת להתמודד עם תסכול, בונים יכולת אנליטית, סקרנות ועוד ועוד, ככה שאם משרד החינוך יצליח לעשות את ה״קסם״ ולהגדיל את כמות התלמידים בחמש יחידות, לתלמידים שיצטרפו תינתן הזדמנות לדחוף קדימה את כל המאפיינים שציינת גם אם הם לא היו חזקים בהם לפני.
    וגם, מצרף סרט שממש אהבתי שאולי קצת מדגים את הקשר הדו כיווני הזה -http://www.imdb.com/title/tt0393162/

    אהבתי

  5. האמונה בצדקת הכסף:
    הדיון כאן מעניין בהקשר של שיטות מחקר, אבל הרבה למעלה מזה בהקשר של אמונתו של ראש מפלגת "הבית היהודי", המפלגה הדתית הגדולה בישראל כיום. לא עוד תרבות הרוח וערכי מוסר, אלא אמונה בצדקת הכסף, זה המסר המרכזי של שר החינוך: תלמדו יותר מתמטיקה כדי שתעשו יותר כסף. עולם ערכים מעניין ומרענן.
    מצד שני, אולי זה עדיף על פני הערכים שבהם טעונה "העגלה המלאה" של היהדות הדתית: מלאה בתחושת אליטיזם, הדרה, שנאת האחר, לאומנות משיחית ופשיזם. שיטות מחקר, עם כל הכבוד, קצת פחות חשוב.
    שבת שלום
    קובי

    אהבתי

  6. היא שנמצא קשר בין גברים שחורים וכשמסתכלים לעומק נמצא קשר בין גברים שחורים בבתי ספר של שחורים שלא למדו בקולג'.
    נקודה מעניינת שיכולה להראות שההשפעה היא דו כיוונית כפי שציין עדי.

    אהבתי

להשאיר תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת / לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת / לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת / לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת / לשנות )

מתחבר ל-%s