הבחירות לכנסת ה- 19 (בשנת 2013) – איפה הסקרים הצליחו ואיפה הם כשלו?

 seker_vs_reality_elections2013

הבחירות הסתיימו, אני הצבעתי, ועכשיו כשהאבק מתחיל לשקוע אנו יכולים להתרווח ולבדוק את הקשר בין תחזיות הסקרים לתוצאות בשטח. יש דרכים רבות לדון בשאלות הללו, מה שבחרתי לעשות היום זה לקחת את הסקר של פרופסור קמיל פוקס (דיאלוג), שהתפרסם חמישה ימים לפני הבחירות לכנסת ה- 19 (אשר התקיימו ב- 22.01.2013), בעיתון הארץ (קישור לתוצאות הסקר) ולענות על כמה שאלות:

  1. עד כמה קרובים היו תחזיות הסקר לתוצאות האמת?
  2. האם 19 המנדטים שקיבלה "יש עתיד" היו בתוך טווח הטעות הסבירה או לא?
  3. האם לארץ חדשה היה סיכוי לעבור את אחוז החסימה?
  4. האם יש עדות מובהקת לכך שהסקרים של הארץ מוטים לכיוון השמאל-מרכז?

הפוסט הזה יכלול את עיקרי הדברים (אפשר לקפוץ לסוף הפוסט לריכוז המסקנות), ואם תרצו לראות את החישובים המדוייקים, אתם מוזמנים להוריד את המסמך מהקישור שכאן.

להמשיך לקרוא הבחירות לכנסת ה- 19 (בשנת 2013) – איפה הסקרים הצליחו ואיפה הם כשלו?

טילים על ישראל | פלסטינים שנהרגו בידי צה"ל — בין השנים 2002 ל- 2012 – גרפים, נתונים, ומחשבות

הערת הקדמה לקוראים וותיקים וחדשים: הפוסט הזה הוא מאד בסיסי מבחינת הסטטיסטיקה שבו (לטוב ולרע). עיסוקו הוא יותר במציאת נתונים והסתכלות בסיסית עליהם מאשר ניתוחים מורכבים.

חסרי סבלנות לקרוא את הפוסט? פשוט תסתכלו על הגרף שכאן (מספר הטילים על ישראל מול פלסטינים שנהרגו בידי צה"ל – לאורך זמן):

רוצים להבין למה יצרתי את הגרף הזה, באיזה נתונים השתמשתי (מופיעים בסוף הפוסט), ומה אני חושב עליו? תמשיכו לקרוא הלאה…

עידכון (18.11.2012): יצרתי להנתאכם גירסה דינמית של גרף הנתונים, כנסו לפוסט בשביל לצפות בו:

להמשיך לקרוא טילים על ישראל | פלסטינים שנהרגו בידי צה"ל — בין השנים 2002 ל- 2012 – גרפים, נתונים, ומחשבות

כך זינק המס שאנחנו משלמים על הדלק?!

באולפן שישי מהימים האחרונים (30.03.2012), התנוססה לה כתבה תחת הכותרת "כך זינק המס שאנחנו משלמים על הדלק". בכתבה מופיע תרשים מרשים המראה את הטיפוס הבלתי נלאה של המס שאנחנו משלמים על הדלק בעשור האחרון. היות והרבה חברים בפייסבוק החליטו להפיץ את התרשים הזה, החלטתי להסתכל עליו קצת יותר, הנה הוא:

בתרשים הזה יש שני כשלים משמעותיים: הראשון הוא מבחינה עיצובית (תרשים עמודות תלת מימדי, במקום דו מימדי) והשני הוא מבחינת סוג הנתונים שהוצגו (נתונים גולמיים ללא תיקנון). וכעת הסבר מורחב:

להמשיך לקרוא כך זינק המס שאנחנו משלמים על הדלק?!

תרשים של מחירי דירות בשנתיים האחרונות – אני לא רואה בשורות גדולות – ואתם?

מדור הכלכלה של ווינט פירסם לפני כמה שעות את הנתונים שפרסם היום משרד הבינוי והשיכון.

המממ, כשאני אומר "פירסם", כוונתי היא שהעיתון נתן צילום מסך של טבלת נתונים, ביחד עם תיאור של היחס בין מחירי הדירות בתאריכים שונים (דהיינו, הירידה באחוזים).
אז מה הפריע לי? שלהסתכל על (צילום מסך) של טבלת נתונים גדולה לא ממש עוזר לי להבין מה קורה בשוק הדיור (ותיאור האחוזים של הכתבה גם כן לא עוזר).

הכנת הנתונים

רציתי ליצור תרשים של הנתונים. בשלב הראשון, הורדתי את התמונה של טבלת הנתונים מהאתר של ווינט (קישור) . בשלב השני נגשתי לגוגל וחיפשתי "OCR jpg to doc", כדי למצוא אתר שיאפשר לי להמיר את התמונה למספרים (כדי שאני לא אצטרך להתאמץ יותר מידי בהקלדה). הנה קישור לאתר שהצליח לא רע להמיר את התמונה למסמך וורד (קישור). את הטבלה שבקובץ וורד העברתי לאקסל, ותיקנתי כל מיני שגיאות (פסיקים, נקודות, ואפסים חסרים).
אתם מוזמנים להוריד את הקובץ שהתקבל ולחשוב על דברים יצירתיים אחרים לעשות איתו (קישור לקובץ הנתונים).

התרשים של מחירי הדירות בשנתיים האחרונות

מה שמצער אותי זה שאני לא מבין את המשמעות המדוייקת של המחיר. אני לא יודע אם זה מחיר ממוצע לדירה בגודל מסויים. באיזה איזורים בארץ, וכן הלאה. המשמעות המדוייקת של הנתון לוטה בערפל, לא מתואר בכתבה של ווינט, ודורש חפירה באתר של משרד השיכוי והבינוי (וזה בהנחה שהם רשמו את ההסבר שם איפשהו).
אבל בואו נניח שהנתון הזה בכל זאת מייצג משהו על מה שקורה בארץ. הנה התרשים:

הקו הכחול הוא של מחירי דירות יד שניה, בעוד שהקו האדום הוא של מחירי דירות חדשות. הקו השחור שהוספתי על גבי הנתונים הוא החלקה על פני 4 תקופות (אפשר לחשוב על זה כעל קו המגמה "הממוצע" של מחירי הדירות).

מחשבות על הנתונים (ומחאת האוהלים)

כמה תופעות מעניינות צצות כשמסתכלים על הגרף:

  1. מחירי הדירות הם נתון "רועש" בין חודש לחודש (שזה די מרשים לראות כשחושבים על זה שמדובר בממוצע של מחירים). אחת המסקנות שמתקבלות מזה היא שלהשוות חודש ספציפי עם חודש ספציפי בשנה שלפני כן, זה לא בהכרח ההשוואה הכי טובה. מדוע? כי ייתכן שבמקרה (או בכוונה שאיננה "נקיית כפיים") נבחר להשוות שני חודשים עבורם היה הפרש גדול. וייתכן וההפרש הזה הוא מיקרי, ויהיה מתון יותר בחודש שלאחר מכן. זה אומר שלשם השוואות בין תקופות, ייתכן ועדיף להסתכל על נתונים שעברו "החלקה" (דהיינו, "מיצוע", מה שמופיע בתרשיימים למעלה בתור הקו השחור).
    זה גם אומר שיכול להיות חודש שבו פתאום יכריזו ש"מחירי הדירות מתרסקים" (בעיקר כאשר מדובר במחירי הדירות החדשות), אבל שחודש לאחר מכן המחירים שלהם יתאזנו חזרה למחירים הקודמים.
  2. נראה שיש יותר תנודתיות במחירי הדירות החדשות לעומת מחירי הדירות יד-שניה (זה רק מהסתכלות בעין, לא בהכרח מדובר בהבדל מובהק סטטיסטית). הסבר אחד על כך נתן אוהד דנוס, יו"ר לשכת שמאי המקרקעין, אשר אמר בעקבות פרסום הנתונים כי "הודעת משרד השיכון תואמת אחת לאחת את תחזיות לשכת השמאים בדבר ירידת מחירים זמנית, בשיעורים מינוריים, כשהקבלנים מוכנים להתפשר מעט יותר משוק דירות היד השנייה, וזאת רק הממונפים שבהם".
  3. מאז תחילת מחאת האוהלים (דהיינו, יולי 2011), נראה שהייתה "ירידה" במחירי הדירות החדשות והיד-שניה (בהשוואה לשיא). אם כי הירידה היא על פני המגמה, יותר משמעותית בדירות החדשות – ובכל מקרה די זעומה ביחס לשונות הכללית של הנתונים. האם הנתונים האלה מלמדים אותנו שמחאת האוהלים השפיע על שוק הדיור והורידה את מחיריו? זו שאלה מצויינת, אינני יודע את התשובה. ייתכן ומחאת האוהלים הגיע באותו הזמן שהתחילה להתהפך מגמת העלייה של מחירי הדיור.

בשורה התחתונה, אני לא רואה בשורה גדולה בנתונים האלה, רק קצת תובנות שלא ברור לי מה אפשר לעשות איתן.

אם יש לכם מחשבות על מה לעשות עם הנתונים, או איך לפרש אותם – אשמח לקרוא עליהם בתגובות, אני אוהב ללמוד דברים חדשים…

20 היסודות לאינטראקציה עם היצגי נתונים – סיכום הרצאה

ביום רביעי האחרון נתתי הרצאה של 50 דקות בסדנת ויזואליזציה מטעם האיגוד הישראלי לסטטיסטיקה על סוגי הפעולות האפשריות ("היסודות") אשר אפשריים כאשר מבצעים אינטראקציה עם היצגים גרפיים של נתונים (או בלעז: Interactive Data Visualization). בפוסט הנוכחי בכוונתי:

  1. להסביר מה זה אינטראקציה עם היצגי נתונים ולתת את המוטיבציה הסטטיסטית עבורה
  2. לפרט ולהסביר את 20 היסודות לאינטראקציה עם היצגי נתונים
  3. לדבר על ההזדמנויות והאתגרים שמציבים בפנינו היכולת לאינטראקציה עם היצגי נתונים

כל הדוגמאות שיוצגו בפוסט זה יושמו באמצעות התוכנה GGobi (תוכנה חופשית/קוד-פתוח). בפוסט הנוכחי אני לא אדון בתוכנות שמיישמות את העקרונות שיתוארו. אני מקווה לעשות זאת באחד הפוסטים העתידיים. לבינתיים, הנה דמו של 5 דקות על השימוש ב- GGobi (אפשר לקרוא את המשך הפוסט גם מבלי לצפות בו) :

brutally short intro to ggobi from Mat Kelcey on Vimeo.

להמשיך לקרוא 20 היסודות לאינטראקציה עם היצגי נתונים – סיכום הרצאה