לפני כמה ימים בן זוגי פבלינוקס אמר להם כיצד להתקין באופן מקומי את דגם הבינה המלאכותית האופנתי. בפוסט זה אפרט מה אני מחשיב כדגמים טובים יותר מ-DeepSeek וכיצד להתקין ולהפעיל אותם במחשב שלנו.
אם נניח בצד כל אהדה פוליטית או אנטיפתיות, המהלך של ממשלת סין היה יצירת מופת של שיווק דיפלומטי ראוי לסאן דזה. בניגוד לסגנון ה-"Elephant in the Chinaware" של דונלד טראמפ, הם הכריזו על דגם שמציע את אותן תכונות כמו ChatGPT בחינם וצורך פחות משאבים. רק מי מאיתנו שעוקב אחרי הנושא יודע את זה יש הרבה מודלים אחרים של קוד פתוח (חלקם מחברות צפון אמריקאיות כמו Meta) מזה זמן רב, והביצועים של DeepSeek ניתנים להשוואה ל-ChatGPT רק ב-5% מהשימושים הנפוצים ביותר.
מודלים של שפה בקנה מידה גדול
ChatGPT, DeepSeek ואחרים נקראים מודלים של שפה בקנה מידה גדול. בעצם הם מאפשרים למשתמש ליצור אינטראקציה עם מחשב בשפה דומה לזו המשמשת לתקשורת עם אדם אחר. כדי להשיג זאת, הם מאומנים בכמויות גדולות של טקסט וחוקים המאפשרים להם להפיק מידע חדש ממה שכבר יש להם.
השימוש העיקרי בו הוא לענות על שאלות, לסכם טקסטים, לבצע תרגומים ולשכפל תוכן.
דגמים טובים יותר מ-DeepSeek וכיצד להתקין אותם באופן מקומי
כמו Pablinux, אנחנו הולכים להשתמש ב- Ollama. זהו כלי המאפשר לנו להתקין, להסיר ולהשתמש בדגמי קוד פתוח שונים ממסוף לינוקס. במקרים מסוימים הדפדפן יכול לשמש כממשק גרפי, אך לא נעסוק בכך במאמר זה.
כדי ש-Ollama תספק חווית משתמש נכונה, עדיף שיהיה לו GPU ייעודי.במיוחד בדגמים עם יותר פרמטרים. עם זאת, הפחות חזקים יכולים לשמש על Raspberry Pi וכאשר אפילו בדקתי דגמים עם 7 מיליארד פרמטרים במחשב עם 6 גיגה-בייט וללא GPU ייעודי, המחשב רץ ללא שיהוקים. אותו דבר לא קרה עם אחד של 13 מיליארד.
פרמטרים הם הכללים שבהם משתמש המודל כדי לבנות קשרים ולבנות דפוסים בין הנתונים. ככל שיש יותר פרמטרים ונתונים, כך דגם יהיה חזק יותר אלה עם פחות פרמטרים מדברים ספרדית כמו טרזן.
אנחנו יכולים להתקין את Ollama עם הפקודות
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
נוכל להתקין את הדגם עם הפקודה:
ollama pull nombre_del modelo
והפעל את זה עם:
ollama run nombre_del_modelo
אנו מסירים אותו באמצעות:
ollama rm nombre_del_modelo
אנו יכולים לראות את הדגמים המותקנים על ידי הקלדה:
ollama list
להלן רשימה קטנה של הדגמים שהכי מעניינים אותי: את הרשימה המלאה של הדגמים הזמינים תוכלו למצוא כאן כאן:
לאמה2-לא מצונזר
לאמה היא מודל לשימוש כללי שנוצר על ידי Meta. בגרסה זו הוסרו כל ההגבלות שהוכנסו על ידי מפתחי הפרויקט המקורי מסיבות משפטיות או פוליטיות.. יש לו שתי גרסאות, קלה שמסתדרת עם 8GB והמלאה שצריכה 64. ניתן להשתמש בה כדי לענות על שאלות, לכתוב טקסטים או במשימות קידוד.
מתקין עם:
ollama pull llama2-uncensored
והוא פועל עם:
ollama run llama2-uncensored
קודגמה
CodeGemma הוא מבחר של תבניות קלות משקל אך חזקות המאפשרות לך לבצע מגוון משימות תכנות כיצד להשלים קוד או לכתוב אותו מאפס. מבין בשפה טבעית, יכול לעקוב אחר הוראות ולעשות חשיבה מתמטית.
זה מגיע ב-3 גרסאות:
- לְהוֹרוֹת: זה הופך שפה טבעית לקוד ויכול לעקוב אחר הוראות:
- קוד: השלם והפק קוד מחלקים מהקוד הקיים.
- 2b: משימת השלמת קוד מהירה יותר.
טינילמה
כפי ששמו מעיד, מדובר בגרסה קטנה יותר של דגם Meta המקורי.. אז זה לא יביא לתוצאות טובות, אבל אם אתה רוצה לראות איך מודל בינה מלאכותית עובד על חומרה צנועה, שווה לנסות. יש לו רק 1100 מיליארד פרמטרים.
לשימוש במודלים מקומית יש את היתרונות של פרטיות וגישה לגרסאות לא מצונזרות ולא מוטות שבמקרים מסוימים נוטות להיגמר כמגוחכות. הבינה המלאכותית של מיקרוסופט סירבה ליצור עבורי תמונה של כלב תחש כי היא חשבה שהמונח "כלבה" פוגע. החיסרון הגדול ביותר הוא דרישות החומרה. זה יהיה עניין של לנסות את הדגמים ולמצוא אחד שהוא מספיק טוב עבור מה שאתה צריך ויכול לפעול על הציוד שיש לך.