כיצד הבינה המלאכותית ניגשת ופותרת חידות היגיון?

חידות היגיון, תשבצי מילים ומשחקי חשיבה היוו מאז ומתמיד את אבן הבוחן ליכולותיו הקוגניטיביות והאינטלקטואליות של המוח האנושי. מאז דצמבר 1913, עת פרסם עיתונאי בשם ארתור ווין את התשבץ הראשון בעולם, כדי לאתגר קוראים בוגרים באמצעות הסקה ופענוח של רשת מילים, הפכו חידות אלו לחלק בלתי נפרד מהתרבות האנושית.

מחקרים פסיכולוגיים ונוירו ביולוגיים מראים כי התמודדות עם חידות דורשת מהמוח האנושי להקצות משאבי קשב, להפעיל זיכרון עבודה, לסנן מידע לא רלוונטי וליישם אסטרטגיות של פתרון בעיות המשלבות שליפה סמנטית לצד חשיבה דדוקטיבית (הסקה מהכלל אל הפרט).

בעידן שבו מודלי שפה גדולים כותבים קוד, מנתחים טקסטים ומייצרים שפה טבעית בשברירי שנייה, עולה השאלה המדעית והפילוסופית האם המכונה אכן "חושבת" כפי שהיא מתבטאת, או שמא היא רק מחקה תבניות שפה סטטיסטיות? 

כדי להשיב על שאלה זו, חוקרים ומדעני מחשב בחרו להפוך את חידות ההיגיון והמתמטיקה לשדה הניסוי המרכזי שבו נבחנת ה"בינה" של הבינה המלאכותית. המעבר של מודלים משלבי זיהוי תבניות בסיסי לניסיונות של חשיבה מורכבת מציף תובנות מרתקות על הארכיטקטורה של המוח המלאכותי, על הפערים התהומיים בינו לבין המוח האנושי ועל הטכניקות הנוירו-סימבוליות החדשניות שנועדו לגשר על פערים אלו. 

חקר יכולות פתרון החידות של מודלי שפה גדולים מאפשר הצצה נדירה אל מאחורי הקלעים של מנגנוני הקידוד וההסקה וחושף כיצד אלגוריתמים מתמודדים עם המשימה האנושית כל כך של יצירת סדר מתוך כאוס קוגניטיבי.

מערכת 1 מול מערכת 2: האנטומיה הקוגניטיבית של המודלים המלאכותיים

כדי להבין לעומק כיצד בינה מלאכותית פותרת בעיות מורכבות, נדרש בראש ובראשונה למפות את החשיבה המלאכותית על גבי מודלים הלקוחים מעולמות הפסיכולוגיה הקוגניטיבית.

התיאוריה המוכרת ביותר בהקשר זה היא זו של חתן פרס נובל, פרופ' דניאל כהנמן, אשר חילק את החשיבה האנושית לשתי מערכות מובחנות. הראשונה, היא מערכת 1, האחראית על חשיבה מהירה, אינטואיטיבית ואוטומטית ומערכת 2 המופקדת על חשיבה איטית, מודעת, רציונלית ומאומצת הדורשת ריכוז מתמשך.

בכנס המרכזי לבינה מלאכותית כללית (AGI) שנערך בשנת 2021, פרופ' יהושע בנג'יו, מחלוצי תחום הלמידה העמוקה וחתן פרס טיורינג, המשיל את מודלי השפה של ימינו למערכת 1 של כהנמן.

על פי בנג'יו, הנהיגה במסלול מוכר ויומיומי הביתה מדגימה את פעולתה של מערכת 1. היא מתבצעת באופן כמעט אינסטינקטיבי, ללא צורך במאמץ מודע מאתגר, מה שמאפשר לנהג לנהל שיחה במקביל. בדומה לכך, מודלי שפה גדולים אומנו להיות מכונות חיזוי סטטיסטיות אדירות ממדים המנפקות את ה"אסימון" הבא במהירות, בהתבסס על ההסתברות הסטטיסטית שלו להופיע בהקשר הנתון וללא הבנה אמיתית של התוכן הנכתב.

לעומת זאת, ניווט בעיר זרה לחלוטין או נהיגה במדינה שבה חוקי התנועה שונים, דורשים את הפעלתה של מערכת 2. כאן כבר נדרש ריכוז מוחלט, קריאת שלטים, תכנון מראש ושקילת חלופות בזמן אמת. מודלי שפה קלאסיים חסרים לחלוטין את המנגנון הזה. הם מתקשים לבצע עצירה יזומה, לשקול מסלולים חלופיים ולתכנן צעדים מראש לפני הפקת הטקסט.

אנדריי קרפתי, לשעבר מנהל תחום הבינה המלאכותית בטסלה וחוקר בכיר ב-Open AI, טוען כי המגבלה העיקרית של המודלים כיום נעוצה בדיוק בארכיטקטורה זו. המודלים מתנהלים ב"זרם תודעה" ליניארי משמאל לימין, ללא מנגנון רפלקסיבי שיאפשר להם לבחון את עצמם לאחור, לתקן טעויות קודמות, או לתכנן אסטרטגיה רב-שלבית אמיתית.

תפיסתו של קרפתי הולידה את המושג "הליבה הקוגניטיבית" (The Cognitive Core) על פי גישה זו, פיתוח מודלי ענק בעלי טריליוני פרמטרים המבזבזים את קיבולתם על שינון מידע ועובדות מהאינטרנט, במעין עבודת זיכרון רובוטית ובלתי יעילה, מהווה שגיאה תכנונית. המודל האופטימלי, לטענתו, צריך להיות דחוס במיומנויות חשיבה ולוגיקה אלגוריתמית טהורה המאפיינת את מערכת 2, בעוד שכל ניהול הידע העובדתי צריך להיות מועבר לכלים חיצוניים כמו מנועי חיפוש או מאגרי נתונים וקטוריים המדמים זיכרון חיצוני.

 יישום של תפיסה זו ניתן לראות במודלים דחוסים ויעילים, שעל אף היותם מורכבים ממיליארדי פרמטרים בודדים בלבד, שהם נפח קטן יחסית בעולם הבינה המלאכותית, הם מצליחים להתחרות במודלי ענק הכבדים מהם פי עשרות מונים.

זאת משום שמשקלם הפנימי מוקדש לייצוג תבניות דדוקטיביות ופעולות הסקה ולא לשינון של אנציקלופדיות שלמות. מודל שניחן בליבה קוגניטיבית אינו מנסה לנחש את התשובה מתוך זיכרון עמום, אלא מזהה את חוסר הידע שלו ופונה להשתמש בכלי חיצוני באופן אקטיבי כדי לדלות את הנתון החסר.

אשליית החשיבה: ניתוח קריטי של מחקר ה-GSM-Symbolic

האשליה שמודלי שפה מדורות מתקדמים אכן מסוגלים להפעיל חשיבה לוגית עמוקה התנפצה באופן משמעותי בעקבות פרסומו של מחקר מקיף מטעם חוקרי חברת אפל  אשר התפרסם באוקטובר 2024.

עד למועד פרסום מחקר זה, המדד האקדמי והתעשייתי המקובל ביותר לבחינת היכולות המתמטיות והלוגיות של מודלים היה מאגר נתונים בשם GSM8K, אשר כלל אלפי שאלות מתמטיות מילוליות ולוגיות ברמה המצופה מתלמידי בית ספר יסודי. מודלים מתקדמים, דוגמת GPT-4o ודומיו, הציגו אחוזי הצלחה גבוהים מאוד במאגר זה, שהגיעו עד ל-95%, מה שהוביל להכרזות תקשורתיות על פריצות דרך ביכולות ההסקה הלוגית של המכונות.

עם זאת, אותו מחקר של אפל הטיל ספק עמוק בתקפותן של תוצאות אלו. החוקרים העלו את ההשערה כי המודלים פשוט "זכרו" את השאלות משלב אימון הנתונים שלהם כחלק מתופעה המוכרת כ-Data Contamination, או שיש והן פיתחו יכולת מתקדמת לזיהוי תבניות חזותיות וסטטיסטיות ברמת פני השטח, מבלי לרדת לעומקה של הלוגיקה שבבסיס הבעיה.

כדי לבחון זאת מבחינה מדעית, פיתחו החוקרים את המאגר GSM-Symbolic. המאגר התבסס על יצירת תבניות סימבוליות ששינו באופן אקראי שמות, ערכים מספריים ומשתנים בתוך השאלות המקוריות של GSM8K, תוך שמירה קפדנית על המבנה הלוגי המדויק של החישוב הנדרש. התוצאות הצביעו על שבריריות מטרידה. כאשר שונו הערכים המספריים בלבד, נרשמה ירידה מובהקת ועקבית בביצועים של עשרים וחמישה מודלי שפה מובילים בקוד פתוח וסגור.

נקודת השבר החמורה ביותר של המודלים התגלתה בשלב נוסף של הניסוי, עת יצרו החוקרים תת-מאגר בשם GSM-NoOp. בניסוי זה, הוסף לכל חידה מילולית משפט מסיח אחד בלבד, פרט מידע שנראה רלוונטי מבחינה תמטית, אך בפועל היה חסר כל משמעות אופרטיבית לחישוב או לפתרון הלוגי של החידה, כשהמוח האנושי נוטה להתעלם ממידע כזה כחלק ממנגנון סינון קשבי טבעי.

מחקרים העוסקים בתפקוד קוגניטיבי בעת פתרון חידונים תחת לחץ, מצביעים על כך שהמוח האנושי מפעיל מנגנוני עיכוב בקליפת המוח הקדם-מצחית הצידית (DLPFC) במסגרת תופעה המוכרת כתופעת RIF (Retrieval-Induced Forgetting). תופעה הגורמת לכך ששליפה מאומצת של ידע רלוונטי מדכאת באופן אקטיבי מידע מתחרה ומסיח ומאפשרת לאדם להתמקד בפתרון.

בניגוד מוחלט למוח האנושי, המודלים המלאכותיים הציגו כשל מוחלט בסינון המידע. הוספת משפט המסיח היחיד, שלא דרשה שום שינוי בשרשרת החישוב, הובילה לקריסה משמעותית בביצועיהם. על פי אותו מחקר של אפל, נרשמו ירידות ביצועים של עד 65% בקרב כלל מודלי קצה-העליון. המודלים נטו לרוב להכניס את הנתון המספרי הלא רלוונטי אל תוך הנוסחה, מתוך דחף סטטיסטי המעוגן בתבניות האימון שלהם להשתמש בכל הערכים המספריים המופיעים בפסקה.

ראוי לציין כי מחקרי המשך בלתי תלויים, כמו שחזור של הניסוי שנערך בחודשים שלאחר מכן באמצעות מודלים ששוחררו מאוחר יותר, הראו כי כאשר מבקרים את נתוני המסיחים בזהירות יתרה ומוודאים שהם באמת חסרי רלוונטיות לחלוטין, הצניחה בביצועים מתמתנת.

החוקרים במחקרי ההמשך טענו כי לעיתים המודל שוגה כתוצאה משיפוט סביר בו הוא מניח שהמסיח עשוי להשפיע על התחשיב באופנים עקיפים. חרף ביקורות אלו, הקונצנזוס העולה מספרות המחקר העדכנית גורס כי מודלי שפה גדולים, בתצורתם הסטנדרטית, מתבססים בעיקר על התאמת תבניות (Pattern matching) הסתברותית ומתקשים לבצע "הסקה לוגית אמיתית" המסוגלת להפריד באופן שיטתי בין עיקר לטפל. מכאן, כאשר המשימה חורגת מתבנית האימון הקלאסית, שרשרת ההיגיון המלאכותית קורסת.

הטקסונומיה של החידות: היכן הבינה המלאכותית מצטיינת והיכן היא נופלת?

כדי למפות במדויק וברמה המדעית את יכולותיה של הבינה המלאכותית בסביבות מרובות אילוצים, סקר מחקרי מקיף חילק את עולם החידות וההיגיון לטקסונומיה קפדנית.

חלוקה זו מבחינה באופן יסודי בין חידות מבוססות-כללים (Rule-based) לבין חידות נטולות-כללים .(Rule-less) הבחינה השיטתית של אופן התמודדות מודלי השפה עם כל קטגוריה וקטגוריה שופכת אור נרחב על המנגנונים הקוגניטיביים המניעים אותה וממחישה היטב את המגבלות המובנות בארכיטקטורת החיזוי השפתית בהשוואה לאלגוריתמי חיפוש קלאסיים.

הקושי הבולט ביותר של הבינה המלאכותית המודרנית ניכר, באופן אירוני למדי, דווקא במקומות שבהם המחשב הקלאסי שלט ללא עוררין מזה עשרות שנים. מדובר על חידות דטרמיניסטיות, כגון סודוקו הדורשות עמידה באילוצים נוקשים של מרחב. עובדה זו ממחישה את הפרדוקס המובנה של מודלי השפה. הם מצוינים במתן תשובות שנשמעות סבירות ותקינות לשונית הודות לחיזוי סטטיסטי, אך הם מתקשים מאוד בביצוע חישובים מרובי-אילוצים שבהם נדרשת התאמה קפדנית לאמת מתמטית, מרחבית או מבנית אבסולוטית. המודל אינו פותר את מבוך הסודוקו באמצעות תהליך אלימינציה נוקשה כמקובל, אלא מנסה לנחש את רצף המספרים ההגיוני ביותר שיופיע כטקסט, כשזו אסטרטגיה שנידונה לכישלון ככל שהאילוצים הלוגיים מסתבכים.

מעץ המחשבות ועד התאוששות משגיאות: טכנולוגיות ניווט קוגניטיביות ומודלים טופולוגיים

כדי להתגבר על המגבלות המובנות של החישוב ההסתברותי ועל תסמונת החשיבה הליניארית, האופיינית ל"טייס האוטומטי" של מערכת 1, מדענים ומפתחים ברחבי העולם פיתחו שיטות הנחיה וארכיטקטורות חשיבה מהפכניות. מטרתן של שיטות אלו היא לחייב את המודל לצאת מאזור הנוחות של יצירת טקסט מתמשך ולהתנהל בתהליך סדור של קבלת החלטות המדמה את פעילות מערכת 2 האנושית.

גישת "שרשרת המחשבה"  (Chain-of-Thought - CoT)

הגישה הראשונה, שזכתה לתהודה רבה וחוללה מהפכה ביכולת של מודלים לפתור בעיות, מכונה "שרשרת המחשבה".

בשיטה זו, המודל אינו מקבל הוראה לספק תשובה ישירה, אלא מתבקש באופן ספציפי "לחשוב" צעד אחר צעד בטרם יגבש תשובה סופית. שיטה זו מאלצת את המודל לפרק את החידה למרכיבים פשוטים ולחשב נתוני ביניים בגלוי כטקסט, בדומה לאדם המשרבט שלבי חישוב על דף טיוטה.

אף על פי ששיטת CoT שיפרה דרמטית את הביצועים של מודלים על גבי מגוון רחב של חידות, החל ממתמטיקה ועד לחידות בלשיות, החיסרון הבולט שלה נותר טמון בעובדה שהיא עדיין מהווה תהליך ליניארי מובהק ועל כן היא פגיעה לטעויות משמעותיות.

בחידות היגיון דטרמיניסטיות, צעד מוקדם שגוי יוביל בהכרח למבוי סתום בהמשך הדרך.  בדיוק כפי שבחירת מילה שגויה בתחילת פתרון תשבץ תמנע לחלוטין את היכולת לשלב מילים מצטלבות מאוחר יותר. בארכיטקטורת ,CoT ברגע שהמודל הפיק את "אסימון" הטקסט השגוי, הוא אינו מסוגל לחזור אחורה אל נקודת הפיצול והוא נידון להמשיך להצדיק את השגיאה שלו עד לפתרון המעוות והלא נכון.

ארכיטקטורת "עץ המחשבות"  (Tree-of-Thoughts - ToT)

כדי לפתור את חוסר היכולת לתכנן חלופות ולחזור לאחור, פותחה ארכיטקטורה קוגניטיבית מתקדמת יותר בשם "עץ המחשבות" (ToT).

גישה זו זונחת את המסלול החד-ממדי וממדלת את תהליך הפתרון כולו כחיפוש בתוך גרף מבני מסועף דמוי עץ. המודל אינו מפיק רק פתרון ליניארי יחיד, אלא מתבקש לייצר בכל שלב סדרה של רעיונות או מהלכים אופציונליים במקביל.

תהליך הפתרון של ארכיטקטורת ToT פועל בשיטה שמזכירה ניהול משאבים קוגניטיביים של שחקן שחמט מקצועי. תהליך בה המערכת מחייבת את המודל להציע מספר נתיבי חישוב ראשוניים.

בהמשך, המודל מעריך את התועלת והפוטנציאל של כל נתיב בתהליך של Self-evaluation  המדמה רפלקסיה אנושית בו נתיבים שזוהו כמובילים למבוי סתום או שסיכויי ההצלחה שלהם נמוכים הופכים ללא רלוונטיים (תהליך המוכר כ-Pruning), כשהמודל יודע לבצע נסיגה אקטיבית (Backtracking) לצומת הקודם בעץ כדי לפתח ולחקור נתיב מבטיח יותר.

בניסוי שבחן גישה זו, מודל GPT-4 שהסתמך על גישת הליניארית הרגילה (CoT) הצליח לפתור רק 4% מחידות משחק שהוצגו לו. אולם, כאשר הופעלה עליו ארכיטקטורת עץ המחשבות ,(ToT) אחוזי ההצלחה שלו זינקו באופן חסר תקדים ל-74%.

התקדמות מרשימה דומה הודגמה גם בתחום התשבצים המיניאטוריים, שם הפעלת שיטות של חשיבה מרובת נתיבים ויכולת חזרה ועדכון אפשרה ל- GPT-4להגיע להצלחה של 60% ברמת התאמת מילים ופתרון מלא של 4 מתוך 20 תשבצים, לעומת ביצועים אפסיים במודלים ישנים יותר.

ההצלחה של גישת עץ המחשבות אינה שמורה אך ורק לתחום המתמטי, אלא התרחבה גם להסקה חוצת-שפות (Cross-lingual ToT) .במחקרים העוסקים במתן תשובות הגיוניות להקשרים המנוסחים בשפות שונות, הפעלת תהליך ToT מאפשרת למודל לקיים מסלולי חשיבה מקבילים בשפות שונות, להשוות ביניהם ולהפיק תובנות המתקנות את עצמן במהלך הפענוח.

שילוב למידת חיזוק ומיטוב עץ המחשבות (ToTRL ו-DST)

אחד הפיתוחים המסקרנים תחת משפחת העצים הוא מודל ה- ToTRL(Tree of Thoughts Reinforcement Learning).

במודל זה, החוקרים אינם מסתפקים בהוראה מילולית למודל לצייר עץ החלטות, אלא מעבירים מודלים מאמנים תהליך של "למידת חיזוק" על ידי הצבתם כשחקנים אקטיביים בתוך משחקי חידות ופאזלים שדורשים פיצול בחירות. באמצעות מתן תגמולים (Rewards) מבוססי-כללים על כל בחירה נכונה שמפצלת את העץ נכון, המודל מסגל לעצמו הרגלים טבעיים של חשיבה מקבילית ומפתח יכולת מערכת 2 אמיתית מובנית בתוך המשקלים שלו.

למרות השדרוג במודל זה, שיטת עץ המחשבות סובלת מחיסרון טכנולוגי משמעותי. התהליך דורש קריאות מרובות ויקרות למודל על כל צעד ושעל, מה שמייצר עיכובים ועומס פלט כבד.

כדי לפתור דילמה זו, מדענים פיתחו כלי חיזוי דינמיים המכונים "עץ מחשבות מותאם דומיין" (DST - Domain-Specialized Tree of Thought). כלים אלו פועלים כמעריכים קלי משקל המסייעים לכוון את תהליך החיפוש.

ה-DST מנבא מתי הבעיה פשוטה מספיק כדי לאפשר למערכת להתנהל בגישה ליניארית וחסכונית כמעט ללא פיצולים ומתי המשימה מורכבת ומסובכת כדי להצדיק את הרחבת אומדן החיפוש והפעלת עץ המחשבות המלא.

ניסויים הוכיחו שה-DST מסוגל לשמור על רמת הדיוק הגבוהה של ,ToT תוך הפחתה משמעותית של העומס החישובי בשיעורים הנעים בין 26% ל-75%. אסטרטגיה זו מזכירה במידה רבה את המנגנונים המתוארים כ"הסטה קוגניטיבית" מבוקרת במוח האנושי ובה שימוש במשאבים יקרים של הקורטקס הקדם-מצחי רק כאשר רמת הקושי והאתגר דורשים זאת, תוך שמירה על היתרה לשלבי מנוחה והתאוששות.

הסימביוזה בין עולמות: בינה מלאכותית סימבולית ותת-סימבולית  (StreamLLM)

גישה חדשה נוספת אינה מנסה להפוך את מודל השפה הגדול (ה-LLM) לפותר האבסולוטי והיחיד של החידה הלוגית, שכן ראינו כיצד הוא נכשל באילוצים דטרמיניסטיים. אותה גישה חדשה ממצבת אותו כמייעץ יצירתי, המסייע לאלגוריתם מתמטי קלאסי לעשות זאת.

כיוון מחקר זה הובל על ידי קבוצת חוקרים מאוניברסיטת TU Wien (האוניברסיטה הטכנולוגית של וינה), שמצאו דרך למזג, הלכה למעשה, את שתי האסכולות ההיסטוריות הגדולות של הבינה המלאכותית.

כדי להבין את גודלו של ההישג, יש להבחין בין שני סוגי מערכות בינה מלאכותית.

הראשונה, היא בינה סימבולית (Symbolic AI) המהווה אסכולה קלאסית המבוססת על חוקים קשיחים, לוגיקה מתמטית פורמלית וחיפוש שקוף בתוך מרחבי בעיה. יתרונה העצום הוא בדיוק המוחלט והבלתי מתפשר שלה, אך חסרונה טמון בחוסר הגמישות המוחלטת ובמשאבי החישוב העצומים הנדרשים לה כאשר הבעיה מסתעפת לממדים אסטרונומיים.

המערכת השנייה היא מערכת בינה תת-סימבולית (Sub-symbolic AI). במערכת זו, האסכולה המודרנית היא אסכולת מודלי שפה, כגון ChatGPT, הפועלים על בסיס רשתות עצביות ותבניות הסתברותיות ענקיות מתוך נתונים עמומים. פעולתם של מודלים אלו היא מהירה, אורגנית ויצירתית, אך היא מלווה בסיכון מהותי לטעויות לוגיות ולאשליות (הזיות), ואין שום יכולת ודאית לעקוב אחר או להסביר את שרשרת ההסקה המדויקת שהובילה לתוצאה.

בעת פתרון בעיית אילוצים קשה ומורכבת, הניסיון למפות את כלל האפשרויות על ידי מערכת סימבולית יוביל למה שמכונה פיצוץ קומבינטורי. כדי להימנע מכך, מתכנתים משתמשים בכלי חיוני שנקרא "מאלצי ייעול" (Streamliners). אותם "מאלצי ייעול" הם אילוצים לוגיים נוספים שאינם חלק מקורי מהחידה, ה"מוזרקים" פנימה כדי "לחתוך" ולקצץ נתחים עצומים ממרחב החיפוש, כשההיגיון שמאחוריהם בא ואומר שאם ידוע לנו שחלק מסוים במבוך מוביל, בהכרח, למבוי סתום, נוכל לייצר חוק או הוראה שאוסרים כניסה לאותו אזור ובכך נכוון את המחשב לפתרון מהירות בהרבה. באופן מסורתי, יצירת מאלצי ייעול אלו דרשה עבודת נמלים אנושית של מומחים שהבינו את מבנה העומק של הבעיה וגזרו ממנו חוקים.

במערכת החדשנית, שפותחה ב- TU Wienששמה StreamLLM, החוקרים שילבו מודלי שפה מסחריים מתקדמים כדי שינסחו באופן אוטומטי אילוצי ייעול עבור בעיות מורכבות המוגדרות בשפות קידוד לוגיות אקדמיות.

הממצא המדהים ביותר בניסוי זה היה העובדה שה-LLM אינו מסוגל לפתור את המשוואות הללו בעצמו. הוא לא "מבין" את הלוגיקה החישובית שלהן באופן מסורתי ולא מסוגל להריץ את הקוד. עם זאת, הודות ליכולת הסריקה העצומה שלו, המודל ניחן ביכולת מופלאה לזהות דפוסים פנימיים וסדירויות שהמוח האנושי נוטה להחמיץ.

תהליך הפעולה מתבצע במעין "פינג-פונג". המודל השפתי מציע שורה של "רמזים" חישוביים מתקדמים או אילוצים אקזוטיים המצמצמים את אפשרויות הפתרון והתוכנה הלוגית הסימבולית מסננת, שופטת ומאמתת אותם במהירות על ידי הרצות מבחן קצרות  (Empirical tests) המבוססות על משוב. כך נזרקות גם ההצעות השגויות שפוגעות בפתרון ונעשה אימוץ של הרעיונות היצירתיים שמצמצמים את זמן הריצה.

בסדרת ניסויים מקיפה על פני שבע בעיות אילוצים שונות ומוכרות מתחום מדעי המחשב,  השימוש ב-LLM כדי לנסח אילוצי ייעול התברר כהצלחה כבירה. בחלק מהאתגרים השילוב הביא להאצה כבירה של פי ארבעה עד חמישה במהירות מציאת הפתרון האבסולוטי ביחס לקוד המקורי, כשנרשמה גם הפחתה משמעותית של זמן הריצה עד כדי 99% במקרים ספציפיים מסוימים.

כדי להוכיח שהמודל השפתי לא פשוט "זוכר" פתרונות ידועים ממאגרי מידע באינטרנט, החוקרים טשטשו והסוו (Obfuscation and Disguise) את שמות המשתנים והגדרות החידה הסטנדרטיות אל מעבר להכרה.

ה-LLMs עדיין הצליחו לזהות את מבנה העומק של הבעיה ולייצר אילוצים שהם בעלי גיוון סמנטי עצום ולא רק וריאציות תחביריות על חוקים קיימים. השילוב הייחודי הזה בין האינטואיציה ההסתברותית הרחבה של הבינה המלאכותית לבין כוח העיבוד הלוגי והנוקשה של המחשב הקלאסי, מקביל ברמה המטאפורית לפתרון של קושיה מסובכת על ידי שני מוחות אנושיים שונים היושבים יחדיו בחדר החקירות. האחד הוא האמן היצירתי, הזורק רעיונות מחוץ לקופסה ואסוציאציות פרועות והשני הוא מדען הנתונים הפדנטי והקפדן, הבוחן כל רעיון בכלים מתמטיים עד להשלמת הפאזל במלואו.

סוכנים רב-מערכתיים וחשיבה במרחב הסמוי: הכיוון העתידי של הבינה המלאכותית

כדי לדמות בצורה המדויקת ביותר את תפקודי המוח האנושי בניהול עומס קוגניטיבי בעת פתרון חידות היגיון ומשימות מחקר, חזית המחקר של עולם הבינה המלאכותית צועדת בימים אלו לקראת שילוב של מערכות רב-סוכניות (Multi-Agent Systems) ומרחבי חשיבה סמויה  (Latent Reasoning).

המודל הרב-סוכני לפילוח קוגניטיבי  (MARS)

אחד המחקרים פורצי הדרך והמעשיים ביותר בתחום, מתייג את עצמו תחת ראשי התיבותMARS  (Multi-Agent System for Deep Research).

מחקר זה מציג ארכיטקטורה חדשנית המממשת בצורה מילולית ומהותית את התיאוריה של פרופ' דניאל כהנמן בתוך מודל שפה יחיד, המחולק לשני סוכנים תפקודיים נפרדים הפועלים בשיתוף פעולה הדוק תחת אותו מודל יסוד.

בארכיטקטורה מורכבת זו, הסוכן הראשון לוקח על עצמו את תפקיד "מערכת 2". הוא אחראי על הפעולות ה"כבדות" והמורכבות הכוללות בין היתר, חשיבה איטית, תכנון מקיף, בניית אסטרטגיית פעולה לפתרון וקריאה אקטיבית לכלים חיצוניים, כמו מנוע החיפוש Google Scholar  או סביבת הרצת קוד פייתון (Python Interpreter) כדי לדלות עובדות ונתונים אמפיריים חסרים.

כאשר כלים חיצוניים אלו מפיקים מאסות אדירות של נתונים, עובדות, מחקרים ומאמרים רעיוניים שעשויים להכיל עשרות אלפי מילים, הסוכן השני, "מערכת 1", נכנס לפעולה. תפקידו של סוכן זה הוא לסרוק את המידע העצום במהירות וביעילות אינטואיטיבית, לזקק את העובדות הרלוונטיות בלבד, "לנקות" את הרעש ולהגיש תקציר "נקי" למערכת 2 כדי למנוע ממנה לקרוס תחת עודף המידע החישובי.

תקשורת שקטה זו בין שתי המערכות מתבססת על ערוץ שנקרא System 2's purpose. כשמערכת 2 יוצאת לחיפוש, היא מגדירה בבירור למערכת 1 מהי מטרת הדלייה של המידע ומערכת 1 פועלת במנותק מההקשר הרחב של ההיסטוריה השלמה, תוך סינון המסיחים.

ארכיטקטורה זו נועדה במפורש לחסוך ממודל הליבה את סבכי המידע הבלתי רלוונטי, בדיוק אותם סבכים שהפילו את מודלי השפה, דוגמת נפילת מאגר "GSM-Symbolic" של אפל שבו שולב מסיח טקסטואלי חסר חשיבות שמנע מהמודל להתרכז במספרים החשובים בלבד.

שיטה זו דומה מאוד לטכניקות של תיקון ושמירה על מסוגלות (Competence Repair) שעושים בני אדם בבואם לפתור חידוני פנאי מורכבים. כשם שאדם מתעלם מרעשי רקע ומנתונים שגויים שנועדו לבלבל אותו בשאלה רב-ברירתית, כך מערכת 1 מסננת את ה"פיתויים" הטקסטואליים ומונעת מהמחשבה המעמיקה של מערכת 2 להיגרר לטעויות סטטיסטיות.

חשיבה במרחב הסמוי (Latent Reasoning) וארכיטקטורת המעבד-השותף (Coprocessor)

אם שיטת "עץ המחשבות" נועדה להתגבר על הליניאריות של הפלט באמצעות הדפסת שרשראות רבות של רעיונות (טוקנים), גישת החשיבה במרחב הסמוי שואפת לייעל את התהליך כך שהמודל יחשוב כמעט כמו רשת נוירונים אנושית, באמצעות אותות חשמליים וקטוריים פנימיים שאינם מוכרחים להיות מתורגמים מיד לשפה כתובה. ככל שחלונות ההקשר ואורכי הפלט של מודלים גדלים, ההכרח להדפיס כל פסיק בשרשרת המחשבה הטקסטואלית גוזל משאבי תקשורת אסטרונומיים והופך לצוואר בקבוק עיבוד משמעותי.

הגישה המכונה "הסקה סמויה" (Latent Reasoning) מציעה אלטרנטיבה של העברת פעולת ההיקש השלבית מהפלט הטקסטואלי (Tokenized CoT) אל תוך מרחב המצבים הנסתר והרציף של הרשת .(Continuous hidden states).

מחקרים חדשניים בתחום זה מציגים מערכות שבהן המודל מורכב משני חלקים. האחד הוא מודל הבסיס (Base) האחראי להנפקת השפה הרהוטה ומעבד-שותף (Coprocessor) הפועל כרשת סמויה.

המעבד-השותף מקבל את הנתונים, מריץ עליהם מניפולציות של הרהור מתמשך בווקטורים (Latents)  ומחזיר למודל הבסיס את המסקנה בלבד תוך שהוא עורך את הזיכרון לטווח קצר (KV-cache augmentation) של מודל הבסיס.

מערכות אלו, כדוגמת מודל Coconut או מודלים של מחשבה מובלעת (Implicit CoT), מראות כי היכולת לחשב במרחבים וקטוריים רב-ממדיים רחבה ועשירה בהרבה מאשר התלות בייצוגי שפה אנושית ויכולה לעקוף מגבלות קומבינטוריות שחנקו את המודלים השפתיים המסורתיים בעת ניסיונם לפתור חידות הדורשות התבוננות "הוליסטית" דוגמת מבוכים. אומנם, החוקרים מציינים כי במבחנים שנערכו בארכיטקטורות הללו על מאגרי חידות מתמטיות, עדיין קיימת תלות בכמות ההשקעה החישובית עצמה, אך הכיוון המובהק הוא פיתוח כלי חשיבה סמויים שיסייעו להפחית את "פטפטנות היתר" השפתית לטובת עיבוד דדוקטיבי דומם.

סיכום ומבט לעתיד

חקירת האופן שבו הבינה המלאכותית ניגשת אל חידות היגיון שופכת אור לא רק על מנגנוני המכונה, אלא גם על הייחודיות של מוחנו שלנו ועל המארג העתידי של העידן הדיגיטלי.

מחקרים בתחום הקוגניציה האנושית מוכיחים באופן עקבי שבעוד שהמוח האנושי פגיע לעומס פסיכולוגי, הוא מחופא ומגובה במנגנוני חוסן טבעיים המאפשרים לו לווסת עומסים, להתמקד במטרות ברורות ולהפעיל מנגנוני הדחקה פעילה של "מידע מתחרה" תוך שמירה על פוקוס תכליתי וגמיש בעת משבר, כמו גם בפתרון תשבץ או כל אתגר אחר.

לעומתו, המוח המלאכותי נבנה במקורו כמערכת סטטיסטית "תמימה" וחרוצה. מערכת ש"בולעת" כל נתון בסביבתה ב"אמונה שלמה", כשכל מספר בטקסט הוא חיוני למשוואה, מה שמוביל אותה למלכודות תבניתיות ולחוסר יכולת לחלץ את עצמה ממבוי לוגי סתום.

למול כך, ההכרה העמוקה בחולשות הללו של הבינה המלאכותית דוחפת לרצון תמידי להוביל למהפכה אדריכלית ענפה בתוך רשתות העצבים המלאכותיות. במעבר מ"שרשראות מחשבה" חד-ממדיות ופשוטות ליצירת "עצי מחשבות" עמוקים המסוגלים להתפצל במקביל ולסגת לאחור בשעת משבר, משילוב של מערכות רב-סוכניות המחלקות את נטל החשיבה בין מסנן אינטואיטיבי לפותר לוגי אסטרטגי ועד לשימוש ב-LLMs כזירה יצירתית חופשית המציעה כיווני מחשבה נדירים במטרה לסייע למנועי אילוצים מתמטיים נוקשים לפענח חידות לוגיות עצומות כחלק מאתגר בו סימביוזה רחבה של אפשרויות.

השלב האבולוציוני הבא כבר אינו רק יצירת תוכנה שתתנהל כמו אדם, אלא הרכבת רשת קוגניטיבית מרובת זרועות שתגשר על התהום שבין האינטואיציה לידיעה הברורה.

מסתבר שחידות ההיגיון אינן רק משחק שעשוע תמים. בעולם המחקר האקדמי והתעשייתי, הן הפכו לזרז מרכזי למעבר של מערכות הבינה המלאכותית מכלי המנחש מילים סטטיסטית, לישות חישובית חוקרת, מתכננת ומסיקה. אותן חידות היגיון שנועדו, בין היתר, "להערים" על בני האדם, מאלצות כיום את מכונות המחשוב החזקות בתבל לפתח לעצמן את אותה "מערכת 2" ללמוד לחשוב באמת בצורה איטית, בשיטתיות ובשום שכל.