מהי הזיית בינה מלאכותית? ולמה מערכות גנרטיביות ממציאות דברים

Anna Novikova

בינה מלאכותית גנרטיבית עוזבת במהירות את המעבדות ונכנסת לשירות לקוחות, מנועי חיפוש למוצרים, יצירת קוד וכלים פנימיים לניהול ידע. מודלים שפתיים גדולים (LLMs) ומערכות דומות מאומנים על קורפוסים עצומים ויכולים לשוחח באופן שוטף כמעט על כל נושא, לסכם מסמכים, לתרגם טקסט ואפילו לכתוב תוכנה – מה שהופך אותם אטרקטיביים לעסקים. אולם אותם מודלים יכולים גם להפיק תשובות מצחיקות‑למראה אך שגויות לחלוטין. כאשר מודל ממציא עובדות, מצטט מקורות בצורה שגויה או מציע מדיניות לא נכונה תוך כדי הצגת סמכות לכאורה, ה"הזיות" הללו פוגעות באמון המשתמשים ובחוויית הלקוח, משפיעות על הציות והאיכות ועלולות לחשוף ארגונים לאחריות משפטית כאשר לקוחות מסתמכים על מידע שגוי. להבין מהן הזיות של AI, מדוע הן מתרחשות וכיצד ניתן להפחיתן – זו משימה חיונית למנמ"רים, מייסדות, מנהלי מוצר, מנהלות הנדסה וצוותי חדשנות.

מהי הזיית AI?

הזיה בבינה מלאכותית מתרחשת כאשר מודל גנרטיבי מייצר תוכן שקרי, חסר בסיס או נטול הגיון אך מציג אותו כאמיתי. המכון הלאומי לתקנים וטכנולוגיה (NIST) מכנה תופעה זו “confabulation” ומגדיר אותה כשיח ברור ובטוח שמציג תוכן שגוי או שסותר את השאלה או את ההקשר. NIST מציין שמודלים גנרטיביים חוזים את הטוקן הבא על סמך התפלגות סטטיסטית של נתוני האימון שלהם, מה שעלול להוביל לתשובות מדויקות ולעתים לא מדויקות. IBM מתארת הזיה כמצב שבו מודל שפה גדול “רואה” דפוסים או עצמים שלא קיימים, ומפיק תשובות שטותיות או לא מדויקות.

מכיוון שהתופעה מובנית באופי עבודת המודלים, לא ניתן לסלק הזיות לחלוטין – אך אפשר לנהל אותן. ארגונים צריכים להתייחס להזיות כבעיה של אמינות המוצר ולא כאירוע חריג. יש לעצב ולהפעיל מודלים עם מנגנונים שמקשרים את התשובות למקורות ניתנים לאימות, לספק הפניות שקופות ולהימנע מתשובות כאשר המערכת לא יודעת את התשובה. עבור חברות שמחפשות שירותי פיתוח בינה מלאכותית, נושאי ההתחברות למידע ואמינות המערכת צריכים להיות חלק משיקולי הארכיטקטורה והרכש.

למה הזיות AI קורות

הזיות אינן באג בודד; הן נובעות משילוב גורמים במודל, בנתונים, בהנחיות ובהערכה:

• חיזוי טוקן ולא הסקת מסקנות: מודלים גנרטיביים חוזים את הטוקן הבא ולא מבצעים נימוק. כאשר ההנחיה חסרה הקשר מספק או שואלת על מידע שאינו נמצא בידע של המודל, הוא ממלא פערים באמצעות מידע סטטיסטי plausibility אך שגוי.
• היעדר קרקוע (grounding): אם מודל אינו מחובר למקורות סמכותיים, הוא נשען על התפלגות האימון. פרויקט DataGemma של גוגל מדגיש שהזיות הן אתגר עיקרי ומציע לחבר מודלים למידע ממוקד ו/או להשתמש בגישות RAG (Retrieval‑Augmented Generation) כדי להחזיר מידע לפני יצירת התשובה.
• נתוני אימון באיכות נמוכה או בלתי שלמים: הטיות ואי‑דיוקים בקורפוסים גורמים למודלים להכליל באופן שגוי. אם נתוני האימון מכילים עובדות שגויות או פורומים לא מאומתים, המודל עלול לשחזר את השגיאות הללו.
• הנחיות עמומות או רועשות: הנחיות לא ברורות או עמוסות מילים מיותרות מבלבלות את המודל. ככל שההנחיה ממוקדת ומובנית יותר, כך קל יותר למודל להבין את הכוונה ולהחזיר מידע רלוונטי.
• כשלי אחזור: גם מערכות המבוססות על אחזור יכולות להזות אם שכבת החיפוש אינה מחזירה מסמכים נכונים או מחזירה קטעים ישנים. אינדוקס חלש, מסמכים זולים או בסיסי ידע לא מעודכנים מחמירים את הבעיה.
• התנהגות מודל בטוחה‑מדי: מודלים מדברים באופן שוטף ובטוח; הם אינם “מגמגמים” ולכן תשובות בדויות נשמעות אמינות. זה מקשה על המשתמשים לזהות טעויות.
• פערי הערכה: ארגונים רבים חסרים שיטות לבדיקת מודלים מול תרחישים אמיתיים. הערכה ידנית מתמשכת היא יקרה ולא מתרחבת; ללא מעקב רציף, צוותים עלולים להחמיץ שגיאות עד שהן מגיעות ללקוחות.

גורמים אלו משפיעים זה על זה: מודל חזק ללא קרקוע עדיין יזָה כאשר ההנחיה עמומה. מנגד, הנחיה מדויקת לא תתקן הטיות בנתונים. הכרה בהזיות כבעיה מערכתית מסייעת לצוותי מוצר לעצב פתרונות חוצי ארכיטקטורה.

איך הזיות AI נראות במציאות

הזיות מתגלמות בצורות שונות בטקסט, בקוד, באודיו ובדימויים:

• עובדות מומצאות ותשובות שגויות: מודלים עשויים להמציא אירועים היסטוריים, לעוות סטטיסטיקות או לתאר מוצרים בצורה לא נכונה.
• ציטוטים או קישורים בדויים: בהקשרים משפטיים, אקדמיים או מדעיים, מודלים לעתים ממציאים פסקי דין או מחקרים שלא קיימים. כתובות URL דמיוניות או ISBN שגויים הם דבר נפוץ.
• סיכומים או תרגומים לא נכונים: בעת סיכום מסמכים או תרגום, המודל עלול להשמיט פרטים חשובים או ליצור תוכן שאינו קיים במקור.
• מדיניות או צעדים טכניים מומצאים: צ’אטבוטים לתמיכה עשויים להמציא פרטי מדיניות או הוראות שלא קיימות בארגון.
• טענות מקצועיות שוטפות אך לא מבוססות: בתחומים כמו רפואה או פיננסים, מודל עשוי להציע טיפולים לא מאושרים או לפרש תקנות בצורה מוטעית.
• טעויות בתמונה או בקול: גנרטורים ויזואליים עלולים לייצר דימויים לא הגיוניים או מעוותים, וכלים קוליים יכולים לשחזר קולות שמעולם לא הוקלטו.

מקרי אמת מדגימים את ההשלכות. למשל, ב‑Air Canada, נוסע שאל את הצ’אטבוט של החברה על הנחת הלוויה. הבוט הציג מדיניות שלא הייתה קיימת, והחברה סירבה לכבד את ההנחה לאחר הנסיעה. בית הדין הקנדי קבע שהחברה אחראית להטעיה הזו – מקרה שמדגים כיצד הזיות עלולות להוביל לאחריות משפטית ולפגיעה במוניטין.

למה הזיות הופכות לבעיה עסקית

תשובה הזויה אחת עשויה להיראות שולית, אך ההשפעה המצטברת על העסק עלולה להיות חמורה:

• טעויות בשירות לקוחות: צ’אטבוטים שממציאים מדיניות או טועים בפרטי חשבון מתסכלים לקוחות, פוגעים באמון ועלולים להוביל לתביעות. המקרה של Air Canada מראה שחברות נושאות באחריות על מידע שגוי המסופק על ידי כלים אוטומטיים.
• עוזרים פנימיים שגויים: תקצירים או ציטוטים מפוברקים יכולים להטעות עובדים ולגרום להחלטות שגויות. הזיות במחקר משפטי או ציות עלולות להכניס טעויות למסמכים רשמיים.
• סיכון משפטי וצייתנות: בתחומי בריאות, פיננסים, משפט וממשלה אין סובלנות לשגיאות. ציטוטים שגויים או פרשנות לא נכונה של רגולציה מחייבים ארגונים בהפרות יקרות.
• טעויות תפעוליות: ברפואה, עוזר AI שמציע מינון שגוי עלול לפגוע בחולים; במימון, מערכת שמסכמת תקנות בצורה מוטעית עלולה לגרום לסיווגי אשראי שגויים.
• פגיעה באמון: לקוחות ועובדים מאבדים במהירות אמון במערכות AI שדורשות בדיקה ידנית תכופה. לאורך זמן זה פוגם בערך הנתפס של מוצרים גנרטיביים.
• בזבוז זמן בבדיקה: אם צוותים צריכים לבדוק כל תשובה, היתרון היעילותי של הבינה המלאכותית נעלם. העלות הזו משמעותית במיוחד כאשר המודלים משתלבים בזרימות עבודה.

איך עסקים מפחיתים את הסיכון להזיות

צמצום הזיות דורש טיפול מלא במחזור החיים של AI – החל מהזנת הנתונים ועד חוויית המשתמש. הפרקטיקות הבאות עוזרות לבנות מערכות אמינות יותר:

6.1 קרקוע ו‑RAG

חיבור התשובות של המודל למקורות מהימנים מפחית את ההסתמכות על התבניות הסטטיסטיות של נתוני האימון ומאפשר עקיבות. שתי גישות נפוצות:

1. יצירה משולבת אחזור (RIG): המודל מזהה מתי שאלה דורשת עובדות, פונה מראש למקורות מהימנים (כגון data commons או בסיסי ידע פנימיים) ומבצע בדיקה עצמית.
2. יצירה מועשרת באחזור (RAG): המודל מאחזר מידע בהקשר לפני יצירת התשובה, וכך מספק מידע עדכני ומותאם לתחום.

חיבור מודלים למחסני נתונים פנימיים, גרפים של ידע או מאגרי מידע חיצוניים מפחית את ההסתמכות על דפוסים סטטיסטיים ומאפשר תשובות שניתן לתמוך בהן. ארגונים המיישמים AI צריכים להעדיף שירותי data science ו‑machine learning התומכים בקרקוע – למשל אינדוקס וקטורי, חיפוש סמנטי ואחזור בזמן אמת.

6.2 נתונים טובים וצינורות אחזור אמינים

הזיות משקפות לעתים קרובות בעיות נתונים. כדי לשפר אמינות:

• אצירה של נתונים איכותיים: יש להסיר נתונים כפולים, לא רלוונטיים או מוטים ממקורות האימון והאחזור. פרטי המסמך וההקשר צריכים להישמר כדי שהמודל יוכל לאחזר מקורות בצורה מדויקת.
• תחזוקת אינדקסים מעודכנים: על בסיסי ידע לשקף מדיניות, רגולציה ומוצרים עדכניים. נתונים ישנים מגבירים את הסיכון לתשובות מטעות.
• אופטימיזציה של חלוקה והטמעה: מסמכים צריכים להיות מחולקים ליחידות קוהרנטיות השומרות על ההקשר. חלוקה לא נכונה גורמת לאחזור שגוי ומאלצת את המודל להמציא מידע חסר.
• הטמעת בקרה על גישה: יש להגביל את האחזור לתוכן מורשה. ללא סינון מתאים, המודל עלול להחזיר מידע סודי או לא רלוונטי.

צינורות נתונים חזקים דורשים לרוב מומחיות בתשתית למידת מכונה. שיתוף פעולה עם מומחים בתחום מבטיח שמנגנוני האחזור יהיו יציבים, ניתנים להרחבה ומותאמים לצורכי העסק.

6.3 עיצוב הנחיות וזרימות עבודה

האופן שבו משתמשים מקיימים אינטראקציה עם המערכת משפיע על התוצאות. תכנון הנחיות וזרימות עבודה בצורה מושכלת מפחית הזיות:

• שימוש ב‑system prompts והוראות תפקיד: הנחיית מערכת שמנחה את המודל להשיב בכנות, לציין מקורות ולהימנע מניחושים יכולה לרסן הזיות. פורמטים מובנים (JSON, טבלאות) מפחיתים עמימות.
• הנחיות ברורות ומלאות הקשר: הוספת פרטים רלוונטיים – כגון שמות מוצרים, תאריכים או מקורות – מסייעת למודל לצמצם את החיפוש. מחסור בהקשר בהנחיות מוביל למידע לא מדויק.
• הטמעת התנהגות fallback: אם המודל אינו מוצא תשובה אמינה, עליו לומר זאת במקום לנחש. ניתן להגדיר את המערכת להפנות את השאלה לנציג אנושי או למנוע חיפוש.
• שילוב AI גנרטיבי בזרימות עבודה אנושיות: במשימות בעלות סיכון גבוה, פלט המודל צריך לעבור ביקורת של מומחה לפני שמיישמים אותו בפועל. כך מפחיתים את הסיכון ששגיאות לא מאומתות יגיעו ללקוחות.

צוותים המפתחים תכונות אלו נהנים לעתים קרובות משירותי ייעוץ IT המתמחים בעיצוב מוצרי AI, הנדסת הנחיות ואופטימיזציה של זרימות עבודה.

6.4 הערכה ומעקב

הערכה מתמשכת הכרחית. טיפול בהזיות דורש התערבות מוקדמת ומתמשכת:

• הקמת אמות מידה: יש להשתמש בערכות בדיקה ספציפיות לתחום עם תשובות ידועות כדי למדוד דיוק עובדתי, שלמות והצדקות. האמות צריכות לשקף מסעות משתמש אמיתיים, לא דוגמאות סינתטיות בלבד.
• אוטומציה של גילוי טעויות: פיתוח כלים המשווים את הפלט של המודל למקורות מהימנים ודגלים חריגים יכול לגלות הזיות באופן אוטומטי. טכניקות המבוססות על אחזור לחיפוש סתירות יעילות במיוחד.
• מעקב בסביבה חיה: יש לעקוב אחר פלט המודל, משוב וקצב תיקון בלייב. לוחות בקרה מסייעים לזהות תבניות ולכוונן את האחזור או ההנחיות בהתאם.
• ביצוע ביקורות קבועות: יש לבחון תקופתית את הביצועים ביחס לדרישות רגולציה ואתיות. זה כולל הערכת גיוון מקורות הנתונים והוגנות הפלטים.

6.5 פיקוח אנושי לזרימות עבודה רגישות

תחומים כמו בריאות, פיננסים, שירותים משפטיים ותעופה דורשים בדיקה אנושית של פלטי AI. המודלים צריכים להיות מתוכננים להסתמך על מומחים כאשר שאלה כרוכה בהימור גבוה או בידע אמביוולנטי. לדוגמה, צ’אטבוט רפואי עשוי להציע אבחנות פוטנציאליות, אך עליו לציין בבירור שרק רופא מוסמך יכול לאשר את ההמלצות. מדיניות ממשל צריכה להגדיר מתי חובה להסלים לאדם ולהעצים עובדים לשנות החלטות של AI.

מה על חברות לשאול לפני הטמעת AI

לפני שילוב בינה מלאכותית גנרטיבית במוצרים או בתהליכים, מקבלי ההחלטות צריכים לשאול:

1. האם המקרה דורש דיוק עובדתי? משימות קריטיות או רגולטוריות דורשות יותר דיוק מאפליקציות יצירתיות.
2. באילו מקורות המודל נעזר? יש לזהות את בסיסי הידע, המסמכים או מסדי הנתונים שהמערכת תשלוף מהם ולהבטיח שהם סמכותיים ומעודכנים.
3. באיזו תדירות מתעדכן בסיס הידע? קטלוג מוצרים או רגולציה שמשתנה לעתים קרובות מחייבים אינדוקס מחדש תכוף.
4. מה קורה אם התשובה שגויה? יש להעריך את עלות הטעות – כספית, משפטית או תדמיתית – ולעצב מנגנוני בטיחות בהתאם.
5. האם אדם יכול לבדוק או לערער על הפלט? יש לוודא שזרימות העבודה מאפשרות לסמן תשובות שגויות ושיש נתיב הסלמה ברור.
6. כיצד יימדדו ויעקבו הזיות? יש להגדיר מדדים (כגון שיעור הזיות וזמן תיקון) ולהקים תהליכי מעקב שוטף.

התייחסות לשאלות אלו בשלב מוקדם מסייעת בבחירת מודלים מתאימים, בעיצוב מערכות אחזור חזקות ובהקצאת משאבים לגוברננס.

טעויות נפוצות שצוותים עושים

למרות המודעות הגוברת לסיכון, ארגונים נוטים לבצע טעויות:

• הגדלת מספר הפרמטרים משפרת שטף, אך אינה מעלימה הזיות.
• שילוב עוזרים גנרטיביים בשירות לקוחות או בעבודה פנימית ללא חיבור למקורות נתונים סמכותיים מזמין הזיות.
• תשובה קוהרנטית עלולה להיות שגויה; מודלים נדירים מציינים אי‑וודאות, ולכן יש לבנות מנגנוני גילוי ותגובה.
• הערכות מעבדה אינן משקפות תנאי ייצור: שאילתות משתמש אמיתיות חושפות פערי אחזור והנחיות אמביוולנטיות שמגדילות הזיות.
• ללא אפשרות להימנע מתשובה, המודלים חשים מחויבות לענות גם כאשר חסר להם מידע; תכנון fallback או הסלמה מפחית סיכון.

סיכום

הזיות בינה מלאכותית לא ייעלמו כליל משום שהן נובעות מאופיים הסטטיסטי של המודלים הקיימים. עם זאת, ניתן לצמצם ולנהל אותן. תכנית הפרופילים של NIST מתייחסת להזיות כאל תוצר טבעי של חיזוי טוקן, ואילו חוקרים מדגישים שחיבור המודלים למקורות מידע סמכותיים ושיפור צינור הנתונים מפחיתים את שיעורן באופן משמעותי. מנהלים עסקיים צריכים לראות בהזיות אתגר אמינות ולא מקריות, דבר המצריך שיתוף פעולה חוצה‑תחומים בין מהנדסי AI, מדעני נתונים, אנשי משפט ותפעול. באמצעות ארכיטקטורה טובה יותר, נתונים איכותיים, עיצוב הנחיות מושכל, הערכה מתמשכת ופיקוח אנושי, ארגונים יכולים ליהנות מיתרונות הבינה המלאכותית הגנרטיבית תוך כדי ניהול הסיכונים הכרוכים בתשובות בטוחות אך שגויות.