"אף טכנולוגיה אינה פועלת, אם אין משתמשים בה" (לארי ניבן)
ביום שישי ה- 02/01/2015 פורסם בוואלה! חדשות סקר בחירות עדכני. ראשית נציג את תוצאות הסקר בשילוב עם "טווח המנדטים הסביר" לכל תחזית מנדטים, ואחרי זה נתייחס לכמה דברים טובים ופחות טובים בסיקור:
(טווח המנדטים הסביר שמוצג הוא ברמת בטחון של 95%, אך מניח שהמדגם של הסקר הוא חסר הטיות, כלומר אנו מניחים שהוא אכן מדגם מייצג של האוכלוסיה)
היום (28/12/2014) חברת הכנסת ציפי ליבני פירסמה בפייסבוק תמונה עם הכיתוב "ראש בראש. ביחד ואיתכם נלחמים על עתיד המדינה". והנה צילום של התרשים שהופיע:
ובכיתוב למטה נרשם שמדובר בממוצע התוצאות של 3 סקרים מוואלה, מעריב וחדשות 10.
האם התרשים מלמד אותנו שהמחנה הציוני מובילה בסקרים? התשובה (האולי מפתיעה), היא שלא. אם נניח שבכל אחד מהסקרים השתתפו 500 נשאלים (מה שמביא אותנו ל- 1500 נשאלים), אז הטווח של הפרש המנדטים (ברמת סמך של 95%), היא של בין 4.7 מנדטים לטובת המחנה הציוני ועד 2.7 מנדטים לטובת הליכוד.
לטובת ליבני יאמר שהיא לא כתבה בסטטוס שלה "אנחנו מנצחים בסקרים". אבל רק רציתי לוודא שאף אחד לא בטעות קיבל את הרושם הזה מהתרשים שהופץ (לפחות לא על סמך הנתונים שעל בסיסם יצרו את התרשים).
העיתון האינטרנטי Times of Israel פירסם היום את הכותרת הבאה:
"In wake of graft scandal, Liberman down one mandate"
תירגום: בעקבות שערורית השוחד, ליברמן איבד מנדט אחד
ובתוך הטקסט נכתב:
The Maariv survey showed […] Yisrael Beytenu received 5 seats, down from 8, following a massive graft scandal affecting the party which was exposed this week.
תירגום: סקר מעריב הראה שישראל ביתנו ירדה ל-5 מושבים, מתוך ה- 8 שהיו לה קודם לכן, בעקבות השערוריה שנחשפה השבוע.
האם זה מה שהסקרים מלמדים? האם נראה שמפלגת ישראל ביתנו איבדה מנדטים בעקבות פרשת השחיתות שפורסמה השבוע ב- 24 לדצמבר?
אם נסתכל אך ורק על סקר מעריב לפני ואחרי, אז זה אכן נכון שבסקר מעריב משבוע שעבר (ה- 16 לדצמבר), ישראל ביתנו קיבלה 8 מנדטים, ומהסקר השבוע (שפורסם היום, שישי ה- 26 לדצמבר) הם קיבלו 5 מנדטים. האם הירידה הזו "מובהקת"? כלומר – האם יש לנו עדות לכך שהפרש המנדטים הזה הוא מעבר לטעות מקרית?
כן ולא.
אם מסתכלים רק על התוצאות של מעריב מהיום למול התוצאות של שבוע שעבר, אז אכן רואים ירידה מ- 8 ל- 5 מנדטים (ירידה "מובהקת" סטטיסטית). אבל אם מסתכלים על הנתונים של 3 סקרים לפני פריצת הפרשה ו-3 סקרים ביום שאחריה, מקבלים שלפני הפרשה מספר המנדטים היה 8 ואחריה הוא היה (בממוצע) 7.6 (ירידה שאיננה יותר מובהקת).
הנה החישוב המדוייק שבוצע:
להמשיך לקרוא האם ישראל ביתנו איבדה מנדטים בסקרים מהיום שאחרי חשיפת "פרשת השחיתות"?
היום פורסם במאקו, ערוץ 2, גלובס (וכנראה עוד) – תוצאות סקר שערך מכון "פאנלס פוליטיקס" עבור ערוץ הכנסת. הנה התוצאות:
כרגיל, אני אניח שהסקר בוצע באופן תקין ומקצועי. עם זאת, ההצגה שלו בתקשורת מתעלמת מטווח המנדטים הסביר של כל תחזית מנדטים. הנה הגרף שכולל את טווח המנדטים הסביר:
(טווח המנדטים מתבסס על כך שבסקר היו 500 נשאלים. לצערי, בדיווחים שהופיעו בעיתונות, לא נרשם מספר הנשאלים שנסקרו)
…עולה כי הרשימה המאוחדת של העבודה והתנועה זוכה ב-23 מנדטים, הליכוד עם 21 בלבד. יש עתיד של לפיד מתחזקת מעט ועולה ל-11 מנדטים. וגם: דרעי מנצח את ישי בקרב של ש"ס מול מפלגתו החדשה
אני מציע את הטקסט המדוייק יותר הבא:
…עולה כי הרשימה המאוחדת של העבודה והתנועה זוכה
ב-23בין 18 ל- 27 מנדטים, הליכודעם 21 בלבדבין 17 ל- 24. יש עתיד של לפידמתחזקת מעט ועולה ל-11 מנדטיםבין 8 ל- 14. וגם: דרעימנצח את ישי בקרב של ש"ס מול מפלגתו החדשהבין 3 ל- 7 מנדטים בעוד שישי מקבל בין 2 ל- 6 מנדטים.
הטענות שמופיעות בתקצירי הכתבות אינן "עולות" מהסקר. חשוב להדגיש – זה שיש עתיד של לפיד "התחזקה" ל- 11 מנדטים (מה שנכתב גם בגלובס), איננו מעיד על התחזקות. האפשרות שיש לו 11 מנדטים הייתה בתוך טווח האפשרויות של הסקר הקודם של גלובס, כמו כן גם הסקר הנוכחי לא להבדיל האם יש עתיד תקבל (אילו הבחירות היו מתקיימות היום) 8 מנדטים או 14 (בגלל שטווח האפשרויות הזה הוא מה שנוצר בגלל שיש לנו מדגם של רק 500 איש, ולא מדגם גדול יותר).
כנ"ל לגבי דרעי מול ישי – אין עדות לכך שהאחד יקבל יותר מנדטים מהאחר. בשניהם טווח המנדטים הסביר מאפשר שבסוף ישי יקבל יותר מדרעי וגם ההיפך.
בשפה סטטיסטית – הטענות שמופיעות בכתבות אינן מובהקות (כלומר, הן עלולות להיות תוצאה של טעות דגימה, ואם היו מבצעים את הסקר שוב, היו מתקבלות תוצאות שסותרות את הטענות המוצגות בכותרות העיתונים).
כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. התעלמתי בתרשים מעל מסוגיות הקירוב של רווח הסמך עבור המפלגות הקטנות יותר (אז אם זה חשוב לכם, תצטרכו לבצע חישוב מדוייק יותר).
נ.ב: הייתי מעדיף שלא יציגו את הגרף כתרשים עמודות תלת מימדי. זה לא עוזר (ואף מקשה) על ההשוואה הוויזואלית של העמודות.
ב – 18/12/2014, גלובס פירסמו סקר בחירות (הנתונים רוכזו בדף הסקרים של נחמיה).
הנה תרשים תוצאות הסקר לאחר הוספת טווח-מנדטים "סביר":
לזכות הכתבת, לילך ויסמן, יאמר שלא מצאתי בכתבה טענות בלתי סבירות ממה שמשתמע מתוצאות הסקר (אין לי מושג לגבי הפרשנות הפוליטית שהיא מציעה, אבל מבחינת פרשנות לנתונים היא לא מבצעת שום חטא בו הבחנתי) – אז כל הכבוד.
בנוסף הכתבה כוללת השוואה בין נתניהו להרצוג לגבי השאלה "מי מתאים להיות רה"מ הבא?". נתניהו מקבל 39% מול הרצוג עם 35%. האם אז אפשר לומר שבציבור יש יותר אחוז שמעדיפים את נתניהו על פני הרצוג?
סך הכל יש לנו 74% בעלי העדפה לגבי ראש ממשלה (370 נשאלים). זה אומר שמתוך הנשאלים הללו, 52.7% תומכים בנתניהו ושאר ה- 47.3% בהרצוג. טווח אפשרויות (דהיינו, רווח בר סמך) להפרש בין אחוז התומכים בנתניהו מול הרצוג נותן טווח של 4.7% בעד הרצוג ועד 15.5% בעד נתניהו. כלומר, מהנתונים שבסקר, אין עדות לכך שהציבור מעדיף את נתניהו מול הרצוג או ההיפך!
שלוש כותרות (נכונות) שאפשר היה להוציא מהתוצאה הזו הן:
זה שסקר לא מצליח לגלות לנו משהו שחשוב לנו לדעת לא אומר שמדובר בסקר רע. ובכל זאת, זה חשוב שיהיה לנו, הקוראים, ברור מה הסקר הצליח ומה הוא לא הצליח לגלות לנו.
כשאני כותב "טווח המנדטים הסביר" הכוונה היא לרווח בר-סמך מבוסס Wald לפרופורציה על סמך הקירוב הנורמלי, ברמת סמך של 95%. התעלמתי בתרשים מעל מסוגיות הקירוב של רווח הסמך עבור המפלגות הקטנות יותר (אז אם זה חשוב לכם, תצטרכו לבצע חישוב מדוייק יותר).
עבור חישוב רווח הסמך של נתניהו מול הרצוג, בניתי רווח סמך לאחוז התומכים בנתניהו, אבל הרווח סמך שאני רוצה בו הוא ההפרש בין התומכים בנתניהו לתומכים בהרצוג. כלומר: p – (1-p). השתמשתי באינוואריאנטיות של רווחי סמך, על סמך רווח הסמך לתומכים בנתניהו, בשביל לקבל את התוצאה שהוצגה למעלה.