כמו שאמר וורן באפט על משבר האשראי, שהוא מראה מי שחה בלי בגד ים. ביג דטה מסובך כל כך שפתרונות לא אנליטיים, אפילו עם כל כח המחשוב האפשרי, מתגלים בו במערומיהם.
מזה BIG DATA?
- זה בליל נתונים ממקורות רבים של תופעות מגוונות וקשרים פנימיים לא ידועים. וברגע שאמרנו "לא ידועים" פסלנו את כל המודלים שמסתמכים על ידע מומחה או מודל בעל מבנה קבוע מראש.
אז מה לעשות, איך לנתח את מאגר הנתונים? אולי לא כדאי לשמור נתונים אם אי אפשר להוציא מהם ידע? והכי מתסכל - איך זה שנתונים שהשתלטנו עליהם בעבר בכלים פשוטים, עכשיו לא מביאים לתוצאות?
נתקלתי בשאלה הנ"ל לאחרונה. כל ההסברים על קשרים סמויים ומרחב רב מימדי, רק הגדילו את המבוכה. שוב ושוב חזרה השאלה - גם בעבר היו נתונים מורכבים, מה קרה שעכשיו פתאום הפתרון הישן מפסיק לתפקד?
האמת שהפתרון הישן עדיין פועל, אך היבול שלו דל יחסית, הוא מאיר מתחת לפנס ומשאיר מסביב הרבה, יותר מדי, חושך גמור שבו לא רואים לא עצים ולא יער.
