הבעיה שגורמת לאנשים לאבד עבודה אקדמית טובה בלי סיבה
דמיינו שאתם שכרתם כותב מקצועי, הוא כתב עבורכם מאמר אקדמי מצוין, ואז העברתם אותו דרך תוכנה שבודקת "האם זה נכתב על ידי בינה מלאכותית" והתוצאה אמרה 85% או אפילו 100% בינה מלאכותית. אתם כועסים, חושבים שהכותב רימה אתכם, ואולי אפילו מתלוננים עליו.
הבעיה? הוא לא רימה אתכם. הוא כתב כל מילה בעצמו. התוכנה פשוט טועה, ועל פי העיקרון שלה היא בהכרח תטעה כך מדי פעם בכל כותב אנושי.
המאמר הזה יסביר לכם בדיוק למה זה קורה, בשפה פשוטה, בלי נוסחאות מורכבות.
איך בכלל עובדת תוכנת זיהוי בינה מלאכותית?
לפני שמבינים למה התוכנות האלה טועות, צריך להבין מה הן בכלל עושות.
הרעיון הבסיסי
תוכנות זיהוי בינה מלאכותית לא "קוראות" טקסט כמו שאדם קורא. הן מחפשות דפוסים סטטיסטיים. הן שואלות: "האם הטקסט הזה נראה דומה לטקסטים שנכתבו על ידי בינה מלאכותית שראינו בעבר, או שהוא נראה יותר כמו כתיבה אנושית שראינו בעבר?"
זה בדיוק כמו ספאם פילטר לאימייל. הוא לא "יודע" שאימייל הוא ספאם. הוא פשוט אומר: "הטקסט הזה מכיל מילים ודפוסים שראינו הרבה בספאם בעבר, אז כנראה זה ספאם." לפעמים הוא צודק, לפעמים הוא שולח אימייל לגיטימי לתיקיית הספאם.
מה התוכנות מחפשות?
התוכנות בוחנות דברים כמו:
אורך וסיבוך המשפטים: בינה מלאכותית נוטה לכתוב משפטים בעלי מבנה מאוד עקבי. לא קצרים מדי, לא ארוכים מדי. תמיד בגובה דומה של מורכבות. כתיבה אקדמית טובה מתאפיינת בדיוק בכך.
מגוון המילים: בינה מלאכותית משתמשת בטווח מסוים של מילים שהיא "אוהבת". היא נוטה להימנע ממילים מאוד נדירות ומאוד נפוצות.
הניבויות של הטקסט: זה הנקודה הכי חשובה, ונרחיב עליה בהמשך.
חלק שני: מושג המפתח שצריך להבין: "ניבויות" (Perplexity)
זהו הלב של כל הסיפור. אם תבינו רק דבר אחד ממאמר זה, שיהיה זה.
מה זה "ניבויות"?
"ניבויות" הוא מושג מעולם הסטטיסטיקה של שפה. בפשטות: הוא מודד כמה "מפתיע" הטקסט.
נסחו זאת כך: אם אתם קוראים את המשפט "הכלב רץ ב…" מה המילה הבאה הכי סבירה? "שדה", "פארק", "רחוב". אלו לא מפתיעות. אבל אם הכותב כתב "הכלב רץ בפילוסופיה" זה מאוד מפתיע.
תוכנת בינה מלאכותית, מטבעה, כותבת טקסט שהוא פחות מפתיע. היא תמיד בוחרת את המילה הכי "הגיונית" להמשיך בה. לכן הטקסט שלה ניתן לניבוי יחסית.
כתיבה אנושית טובה לעתים קרובות יותר מפתיעה. אנשים בוחרים מילים לא שגרתיות, בונים משפטים בצורה לא צפויה, קופצים בין רעיונות בדרכים שמחשב לא היה בוחר.
אבל זה יוצר בעיה עצומה
מה קורה כשאדם כותב בסגנון מאוד מסודר, אקדמי ומקצועי?
כתיבה אקדמית במהותה פחות מפתיעה. היא עוקבת אחר כללים קפדניים: פתיחה, גוף, מסקנה. מבנה משפטים ברור. שימוש במינוח מקצועי שגרתי לתחום. עקביות בסגנון.
זה בדיוק מה שגם הבינה המלאכותית עושה.
כלומר: כותב אקדמי מיומן שכותב בצורה נכונה ומקצועית מטבעו יכתוב טקסט שנראה סטטיסטית דומה לבינה מלאכותית.
ככותב אני יכול להעיד שכמעט כל העבודות שאני כותב מזוהות על ידי תוכנות לזיהוי בינה מלאכותית כאילו נכתבו על ידי בינה מלאכותית – תקשיבו טוב: לא ב85% אלא ב-100%. כלומר תוכנות לזיהוי כתיבה על ידי בינה מלאכותית מזהות את העבודות שכתבתי כאילו נכתבו בוודאות על ידי בינה מלאכותית, אני יודע זאת כי בדקתי אותן בעצמי. ורוצים לשמוע משהו יותר מפתיע? התוכנות זיהו כ-100% בינה מלאכותית עבודות שכתבתי ב-2007, 2011, 2014.. הרבה לפני שבינה מלאכותית ג'נרטיבית הומצאה בכלל.
הסיבה הגדולה ביותר לטעויות, שכמעט אף אחד לא מדבר עליה
הבעיה של הסיווג הבינארי
התוכנות האלה מסווגות: "בינה מלאכותית" או "אנושי". אבל המציאות היא ספקטרום.
תחשבו על זה: בינה מלאכותית אומנה על מיליארדי טקסטים אנושיים. היא למדה לכתוב מאנשים. אז הכתיבה שלה אינה זרה לחלוטין, היא מחקה כתיבה אנושית.
מצד שני, אנשים שכותבים הרבה ומקצועית לעתים קרובות מפתחים סגנון עקבי ומסודר שדומה יותר לבינה מלאכותית מאנשים שכותבים לעתים רחוקות.
הגבול בין "אנושי" ל"בינה מלאכותית" הוא לא קו ברור. הוא ערפל.
מה שהתוכנות האלה מודות בעצמן
חברות כמו Turnitin ,GPTZero ואחרות מפרסמות בעצמן אחוזי שגיאה. המספרים שונים ממחקר למחקר, אבל כולם מסכימים: יש אחוז לא זניח של "חיובי שווא", כלומר טקסט אנושי שמזוהה בטעות כבינה מלאכותית.
מחקר שפורסם ב 2023 הראה שכותבים שאינם דוברי שפה ראשונה, כמו מי שכותבים אנגלית כשפה שנייה, מקבלים אחוזי זיהוי שגוי גבוהים בהרבה, כי הכתיבה שלהם עקבית ופשוטה יותר, וזה מזכיר לתוכנה בינה מלאכותית. וכאמור, כתיבה אקדמית טובה כמעט תמיד תזוהה כבינה מלאכותית, משום שהיא עקבית ונוטה להשתמש בניסוחים קבועים וידועים מראש המקובלים באקדמיה.
למה כותב לא יכול "לתקן" את זה
אז אולי תאמרו: "בסדר, אם הכותב יכתוב בצורה יותר מגוונת ופחות צפויה, התוכנה לא תסמן אותו?"
הנה הבעיה עם הלוגיקה הזאת.
דרישה סותרת בסיסית
לקוח אקדמי בדרך כלל רוצה:
- כתיבה מקצועית, ברורה, עקבית, מסודרת, ללא שגיאות, עם מבנה הגיוני.
- אבל תוכנות הזיהוי מסמנות כחשודים טקסטים שהם: מקצועיים, ברורים, עקביים, מסודרים, ללא שגיאות, עם מבנה הגיוני.
- כלומר, ככל שהכותב טוב יותר בעבודתו, כך יותר סביר שיסומן.
כותב לא יכול לשלוט בתוצאת האלגוריתם
הכותב יכול לשלוט בכל מילה שהוא כותב. הוא לא יכול לשלוט באיך אלגוריתם סטטיסטי יפרש את הטקסט, כי האלגוריתם הזה הוא קופסה שחורה, תוצאה של מיליוני חישובים שגם מפתחי התוכנה עצמם לא מבינים לגמרי.
יתרה מכך, האלגוריתמים האלה משתנים. תוכנה שאמרה "אנושי" לפני שישה חודשים עשויה לאמר "בינה מלאכותית" לאותו טקסט בדיוק היום, בגלל עדכון שנעשה. האם הכותב "שינה" משהו? לא. התוכנה השתנתה.
לא קיים סטנדרט מוסכם
כאשר אתם מביאים אותו הטקסט לשלוש תוכנות שונות, לעתים קרובות תקבלו שלושה תוצאות שונות לחלוטין. תוכנה אחת תאמר 20% בינה מלאכותית, השנייה 75%, והשלישית 50%.
מי צודקת? אין תשובה. כל אחת משתמשת במודל שונה ובנתוני אימון שונים.
כותב לא יכול לעמוד בסטנדרט שלא מוגדר באופן עקבי.
האנלוגיה שתבהיר הכל
דמיינו שאתם שוכרים נגר מקצועי שיבנה לכם ארון בעבודת יד. הוא בונה ארון מושלם: מדוד, צבוע, פינות ישרות, מגירות שנפתחות בצורה חלקה. עבודה ללא דופי.
ואז אתם מראים את הארון לשכן שטוען שיש לו "חוש" לזהות ארונות שנבנו על ידי מכונות. השכן מסתכל ואומר: "הפינות ישרות מדי. המרחקים שווים מדי. זאת לא עבודת יד, זה נראה כמו שמכונה עשתה את זה."
האם הנגר רימה אתכם? לא. הפינות ישרות ומרחקים שווים הם סימן לעבודה טובה, לא לעבודת מכונה.
האם הנגר יכול היה להבטיח שהשכן לא יאמר את זה? כמובן שלא, כי הוא לא שולט בדעות של השכן.
וכאן מגיעה הנקודה הכואבת: ככל שהנגר מקצועי יותר, כך הארון שלו ייראה "מדי מדויק" בעיני מי שחושב שדיוק הוא חשד.
זה בדיוק הפרדוקס של תוכנות זיהוי בינה מלאכותית כנגד כותבים מקצועיים.
הדגל האדום שאנשים מפספסים לגמרי
כאן מגיע היפוך מוחלט של ההיגיון שרוב האנשים מניחים. אנשים חושבים: "כותב שמבטיח שהתוצר לא יזוהה כבינה מלאכותית הוא כותב אמין ומקצועי." האמת ההפוכה לחלוטין: כותב שמבטיח את זה הוא דגל אדום בוהק שצריך לגרום לכם לברוח. אם כותב מבטיח לכם שהתוצר לא יזוהה כנכתב על ידי בינה מלאכותית, ישנן רק שתי אפשרויות:
אפשרות ראשונה: הוא פשוט לא מבין כלום
כותב שמבטיח שתוצר לא יזוהה על ידי תוכנת זיהוי מגלה בכך שהוא לא מבין כיצד התוכנות האלה עובדות. הוא לא מבין שהן שגויות מהותית. הוא לא מבין שאין שליטה על תוצאתן. הוא לא מבין שהן משתנות כל הזמן, ובמיוחד אין לו ניסיון והוא לא מבין שברוב המקרים כתיבה אקדמית טובה תזוהה כאילו נכתבה על ידי בינה מלאכותית. אדם שאינו מבין זאת הוא אדם שלא השקיע שום מחשבה רצינית בתחום שבו הוא עובד. זה כמו רופא שמבטיח שלא תחלו לעולם אם תיקחו את הכדור שהוא ירשום. רופא שאומר דבר כזה לא מבין ביולוגיה בסיסית. אם הכותב לא מבין את הכלי הבסיסי ביותר שלקוחותיו פוחדים ממנו, מה הסיכוי שהוא מבין את שאר מה שנדרש בכתיבה אקדמית?
אפשרות שנייה: הוא נוכל
האפשרות השנייה גרועה יותר. כותב שמבטיח דבר שהוא יודע שאין לו שליטה עליו עושה זאת כי לא אכפת לו מה שיקרה אחר כך. הנוכל לא מתכוון לספק תוצר אמיתי. הוא מתכוון לקבל כסף, ואז להיעלם, לשלוח זבל, או לשלוח תוצר שנכתב על ידי בינה מלאכותית ולהסתמך על כך שעד שתגלו הוא כבר לא נמצא. כשמישהו לא מתכוון לעמוד מאחורי המוצר שלו, הוא מוכן להבטיח כל דבר. ההבטחות לא עולות לו שום דבר.
ההיפך הוא הסימן לאמינות
כותב אמיתי ומקצועי יאמר בדיוק את ההיפך: "אני לא יכול להבטיח לך איך תוכנה חיצונית תסווג את הטקסט שלי, כי זה לא בשליטתי. מה שאני יכול להבטיח הוא את תהליך העבודה שלי, את הידע שלי, ואת האיכות של הכתיבה." הכלל הפשוט הוא זה: כותב אמין מסרב להבטיח דברים שאינם בשליטתו, בדיוק כמו כל בעל מקצוע אמין בכל תחום אחר. כותב שמסרב להבטיח שום דבר שלא בשליטתו: לא זיהוי כבינה מלאכותית, לא ציון, לא אישור מנחה (בתזה/דוקטורט), לא אישור סוקרים (reviewers במאמר אקדמי), לא פרסום (של מאמר אקדמי) – ובפשטות: שום דבר שאינו בשליטתו, הוא כותב אמין. כותב שאינו אמין בסופו של דבר יתפתה להבטיח אחד מהדברים האלה אם הלקוח יתעקש מספיק. רואה חשבון לא יבטיח שלא תשלמו מס לעולם. עורך דין לא יבטיח שתנצחו בכל תביעה. רופא לא יבטיח שלא תחלו. ואם מישהו מהם מבטיח, ברחו מהר.
מה צריך לזכור:
- תוכנות זיהוי בינה מלאכותית הן כלי סטטיסטי עם שיעורי שגיאה ידועים ומשמעותיים.
- הן לא מזהות "מי כתב". הן מזהות "האם הטקסט דומה סטטיסטית לטקסטים שאנחנו מכירים מבינה מלאכותית."
- כתיבה אקדמית מקצועית ומיומנת מטבעה נראית בסטטיסטיקה דומה לבינה מלאכותית, כי שתיהן שואפות לאותו סגנון של בהירות, עקביות ומבנה.
- כותב לא יכול להבטיח תוצאה של תוכנה שאינה בשליטתו, שמשתנה עם עדכונים, ושמשתנה בין תוכנה לתוכנה. למעשה כותב אמין לא יכול להבטיח שום דבר שאינו בשליטתו הישירה.
- וזכרו את הכלל החשוב ביותר: כותב שכן מבטיח את זה הוא בדיוק מי שצריך להדאיג אתכם, בין אם מחמת בורות ובין אם מחמת כוונה רעה. הדרך היחידה לוודא אמינות של כותב היא שהוא מסרב בתוקף להבטיח דברים שאינם תלויים בו.
