עקרונות מדע הנתונים החדש

העקרונות המתוארים בדיון זה, הם הרחבה של ניתוח הנתונים למקרה כללי (שהוא ביג דטה), שבו בגלל הכמויות העצומות ותערובת התופעות הלא מוגדרות, לא ניתן לנקות נתונים ואי אפשר להניח מראש דבר – אפילו לא את המטרה. במקרה הכללי, כל ההגדרות חופשיות בהתחלת הלימוד. לפנינו למעשה בעיה של "הביצה והתרנגולת". שמציבה שאלות קשות -- איך להתחיל ללמוד? איך לחפש כשלא יודעים מה הדבר שמחפשים?! שאלות כאלה מחיבות מענה, לפני שמאמצים מודל חישובי כלשהו. העקרונות משקפים את המענה של GT ומאפשרים את מודל הפתרון שלו.

שלושת העקרונות הראשונים מקבלים את תיאור המציאות של ביג דטה כנקודת מוצא. במציאות הזאת, אי אפשר או לא כדאי לנקות את הנתונים, וחיבים לקחת בחשבון את הסביבות שבהן נוצרים נתונים. כ"כ, צריך להודות שהידע ההתחלתי בנוגע לקשרים בין משתנים הוא זעיר, ולפיכך עדיף להניח ש"הכל קשור להכל".
הערה: אפשר להסתדר גם בלי 3 העקרונות האלה, בעיקר במצבים מסוימים שבהם יש מידע מוקדם, אך צריך להבין שזה בא על חשבון האפקטיביות של התוצאות וטווח החיזוי שלהן.

העקרונות הרביעי והחמישי מחליפים את עקרון ה"חזרתיות" הסטטיסטי באימות תוצאות ניתוח נתונים. במקומו אני מציעה בתפיסת GT לבדוק השערות לפי סוג של מבחן התוצאה, או ליתר דיוק - מבחן שימושיות התוצאה להסבר נתונים לא מבוקרים. זה מבחן קשה יותר מהסטטיסטי, כי יש לו קצה פתוח, הוא צריך לעמוד גם בתנאים שלא נלמדו. אבל אין מה לעשות, החיים קשים וזה המבחן האמיתי שצרכני המידע מצפים לו, שהתוצאות יהיו רלוונטיות בטווח גדול של מצבים, גם אם לא אמרו זאת בכל כך הרבה מילים

העקרונות השישי והשביעי מחליפים את הגדרת המטרה הידועה מראש, וקובעים רק את התכונות הרצויות במטרה. כל דבר שמקיים את ההגדרה מתאים, כולל מטרות שמנוסחות בצורה לא כמותית, או מטרות שיש להן מספר מימדים, שזו צרה-צרורה בסטטיסטיקה אך לא כאן. איך נדע שהשגנו את המטרה בתוך כל זה? פשוט נראה אם מצאנו לפחות השערה חדשה אחת שניתנת לבחינה, או תבנה שמסיעת להגיע לשליטה נמדדת בנושא הנבדק.
על תבנות שווה לכתוב בנפרד. רק אקדים ואומר שהן יצירתיות ויש שרואים בהן אומנות, אך בעברית אומנות עם חולם ואומנות עם מפיק זה כמעט אותו דבר. גם באנגלית Artist ו- Artisan. עד לפה להפעם.

אדית
Home of GT data mining