מהי דמיון קוסינוס? מדריך לדמיון מבוסס וקטורים

עמוד הבית » פיתון » פנדות » שליטה בדמיון קוסינוס: ממתמטיקה וקטורית לבינה מלאכותית בעולם האמיתי

דמיון קוסינוס מודד את היישור הכיווני של שני וקטורים על ידי חישוב הקוסינוס של הזווית ביניהם, תוך התעלמות מגודלם הכולל.
מדד זה חיוני לבינה מלאכותית מודרנית, ומאפשר חיפוש סמנטי, מערכות המלצות מותאמות אישית ועיבוד של הטמעות בעלות מימדים גבוהים.
בעוד שדמיון קוסינוס סטנדרטי מתייחס לתכונות כאל עצמאיות, גרסאות מתקדמות כמו קוסינוס רך משלבות קשרי תכונות כדי לשפר את הדיוק.

ייצוג דיגיטלי אינטראקטיבי של אשכולות סימבוליזים של וקטורים ומידע על עתיד אדום, אידיאלי לציור בסיסי נתונים וקטוריים.

האם תהיתם פעם איך ספוטיפיי יודעת בדיוק איזה שיר יפגע בנקודה, או איך גוגל מבינה ששאילתת החיפוש שלכם אומרת משהו ספציפי גם אם לא השתמשתם במילים המדויקות? הרבה מהקסם קורה מאחורי הקלעים באמצעות הטמעות וקטוריות . במקום להתייחס למילים או פריטים כטקסט פשוט, בינה מלאכותית הופכת אותם לנקודות במרחב עצום ורב-ממדי, וכאן נכנס לתמונה מושג הדמיון הקוסינוס כדי להבין את הכל.

בעיקרון, הטריק המתמטי הזה מאפשר למחשבים להבין עד כמה שני דברים "קרובים" זה לזה על ידי התבוננות בזווית בין הווקטורים שלהם . לא אכפת לו אם וקטור אחד ארוך בהרבה מהשני; אכפת לו רק אם הם מצביעים לאותו כיוון כללי. זה משנה את כללי המשחק עבור עיבוד שפה טבעית (NLP) ומנועי המלצות מכיוון שהוא מתמקד במשמעות הסמנטית ולא רק בהתאמה של תווים.

trampa de dependencias de modelos de lenguaje

כתבות קשורות:

La trampa de dependencia de los LLM: limites, sesgos y riesgos

יסודות החישוב

תמונה אבסטרקטית של מודלים של הרחבות (LLM) y el processamiento semántico de la IA, representando cómo se organizan los conceptos.

כדי להבין איך זה עובד, עליכם להבין שכל פיסת מידע - בין אם מדובר במילה או בסרט - מיוצגת כווקטור שבו כל ממד הוא מאפיין ספציפי. כדי למצוא את הדמיון, אנו מבצעים כמה צעדים ספציפיים. ראשית, אנו מחשבים את המכפלה הנקודה , הכוללת הכפלת ערכים תואמים משני הווקטורים וסיכום שלהם כדי לראות עד כמה הם מיושרים. לאחר מכן, אנו מחשבים את הגודל (או האורך) של כל וקטור על ידי חישוב השורש הריבועי של סכום רכיביו בריבוע.

השלב האחרון הוא נוסחת הדמיון של הקוסינוס בפועל : לוקחים את המכפלה הנקודה ומחלקים אותה במכפלת שני הגדלים. מבחינה מתמטית, זה נראה כך: דמיון קוסינוס = (A · B) / (||A|| × ||B||) . התוצאה היא ציון שבדרך כלל נע בין -1 ל-1. ציון של 1 פירושו שהווקטורים מיושרים בצורה מושלמת , 0 פירושו שהם אורתוגונליים (לחלוטין לא קשורים), ו--1 פירושו שהם מנוגדים זה לזה באופן קוטבי.

לשים את זה בפרספקטיבה: מלכים, מלכות ותפוחים

Visualización Matemática ב-3D de dos vectores representados como flechas de neón con un unangulo theta entre elos, illustrando el concepto fundamental de la similitud de coseno.

בואו נהפוך את זה למוחשי. דמיינו סטודנט לתואר שני במשפטים (LLM) שמעבד את המילים "מלך" ו"מלכה". מכיוון שמונחים אלה מופיעים לעתים קרובות ליד מילים כמו "כס מלכות" או "מלכות", ההטמעות הווקטוריות שלהם יצביעו כמעט לאותו כיוון, וכתוצאה מכך יתקבל ציון דמיון גבוה בקוסינוס . כעת, הוסיפו את המילה "תפוח" לתערובת. גם אם היא באותו מסמך, היא מופיעה יחד עם מונחים כמו "פרי" או "פרדס", כך שהווקטור שלה יצביע לכיוון שונה לחלוטין, מה שיוביל לציון דמיון נמוך בהרבה.

כדי לשמור על מהירות, חברות לא פשוט מחשבות זאת תוך כדי תנועה עבור כל פריט בנפרד. הן משתמשות בבסיסי נתונים של וקטורים . כלים מיוחדים אלה בנויים לאינדקס וקטורים בעלי מימדים גבוהים, מה שמאפשר אחזור מהיר של ההתאמות הדומות ביותר מבלי לסרוק את כל מערך הנתונים באופן ידני.

כתבות קשורות:

אמזון נפטון, La base de datas de grafos de AWS para relaciones a escala

מעבר ליסודות: קוסינוס רך ומדדים אחרים

לדמיון קוסינוס סטנדרטי יש פגם: הוא מניח שכל ממד הוא בלתי תלוי. עם זאת, בעולם האמיתי, מילים כמו "משחק" ו"משחק" הן ממדים שונים אך קשורות מבחינה סמנטית . כאן נכנס לתמונה המונח "דמיון קוסינוס רך" . הוא מציג מטריצת דמיון (לעתים קרובות באמצעות מרחק לבנשטיין או WordNet) כדי להסביר את הקשר בין מאפיינים, מה שמאפשר למודל להכליל מושגים בצורה יעילה יותר, גם אם המאפיינים הפורמליים שונים.

כדאי גם להשוות זאת למדדים נפוצים אחרים. לדוגמה, מרחק אוקלידי (L2) מודד את המרחק בקו ישר בין שתי נקודות, וזה מצוין לקרבה מרחבית. מרחק מנהטן (L1) מחשב מרחק בעקבות נתיב דמוי רשת. בעוד שאלו מודדים מרחק מוחלט , דמיון קוסינוס מתמקד אך ורק בכיוון . יש גם דמיון מכפלת נקודות , אשר מתחשב גם בזווית וגם בגודל. אם מנרמלים את הווקטורים לאורך יחידה, מכפלת הנקודות ודמיון הקוסינוס הופכים למעשה לאותו הדבר, אך מכפלת הנקודות זולה יותר לחישוב מבחינה חישובית.

יישומים מעשיים בנתוני גרף וחיפוש

בעולם של מסדי נתונים גרפיים כמו Amazon Neptune ומערכות גרפים אחרות , דמיון קוסינוס משמש למציאת לכידות בין קבוצות או לזיהוי משתמשים דומים. לדוגמה, אם יש לכם גרף של אנשים והמטבחים האהובים עליהם, תוכלו לייצג את ההעדפות שלהם כווקטורים של ציונים. על ידי יישום אלגוריתם הדמיון הקוסינוס , תוכלו לדרג אילו משתמשים בעלי הטעמים הדומים ביותר, ללא קשר לשאלה האם אדם אחד מדרג יותר מסעדות מאחר.

מנועי חיפוש מודרניים גם מתרחקים מחיפוש לקסיקלי טהור (כמו Ctrl+F) לכיוון חיפוש וקטורי . בעוד שחיפוש לקסיקלי מצוין לטוקניזציה, הוא מפספס את הנקודה של הטקסט. חיפוש וקטורי לוכד את הכוונה הבסיסית . במערכות כמו Elasticsearch, זה מיושם על ידי המרת שאילתות להטמעות ומציאת השכנים הקרובים ביותר באמצעות המדדים שדנו בהם, ולעתים קרובות הופך את הטווח של -1 עד 1 לציון חיובי לדירוג טוב יותר.

בין אם אתם בונים כלי להמלצת סרטים או סוכן בינה מלאכותית מורכב, בחירת מדד הדמיון הנכון תלויה בשאלה האם גודל הווקטור נושא משמעות. אם אכפת לכם רק מה"נושא" או מה"כיוון" של הנתונים, דמיון קוסינוס הוא ההימור הטוב ביותר. עבור אלו הזקוקים למרחק מרחבי גולמי, אוקלידי הוא הפתרון הנכון. על ידי שילוב כלים מתמטיים אלה עם אלגוריתמי אינדוקס יעילים , נוכל להפוך נתונים לא מובנים למפה מאורגנת וניתנת לחיפוש של משמעות אנושית.

דף הבית » פייתון » פנדה » שליטה בדמיון קוסינוס: ממתמטיקה וקטורית לבינה מלאכותית בעולם האמיתי