סקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?
-
@יום-חדש-מתחיל כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
נשתמש במערכי נתונים פתוחים מ-hugging face של מליוני טקסטים.
אין לי שום הבנה בתחום, אבל האם ניתן לייצר מערך נתונים לאימון משאלות תורניות שיש במאגר אנקי לדוגמא?
כי אם כן, יהי' אפשר לאמן מודל על שאלות תורניות, יש בתוכנת אנקי 150,000 !!!!!! שאלות תורניות בכל חלקי התורה עם תשובות.זה מאוד יעזור למה ש@לא-מתייאש רוצה להכניס לתוך התוכנה שלו
בהחלט, אבל צריך להמיר את מבנה הנתונים למבנה המתאים.
איך אני משיג את הטקסטים?
וזה 100% טקסט פתוח?@CSS-0 כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד. יהיה מדריך או לא יהיה?
באמצע הכתיבה, מחכה שייתחדש לי השימוש החינמי בקולאב...
-
@החכם-התם כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד.
אנחנו מחכים בקוצר רוח.
יש צפי?אני יאמר את האמת, אמנם הצלחתי ליצור את המודל, הוא למד עברית תקנית, מענה לשאלות וידע בסיסי, אבל הנתונים כנראה לא היו מושלמים והיו במבנים בעייתיים כמו של ויקיפדיה, מה שהרס את היכולת ש המודל להגיב בצורה תמציתית ומדוייקת. אני צריך לעבור על מערך הנתונים ולברור ממנו טקסטים איכותיים, לנקות אותם ממבנים, לערבב אותו ולהתחיל מחדש, אבל בשביל הניקוי הזה צריך זמן שאין לי כרגע. אולי אם יהיו מספיק חברה שמוכנים לנקות את מערך הנתונים (לא מאמין) נוכל להתקדם מהר יותר.
-
@החכם-התם כתב בסקר | סקר | האם יש ביקוש למדריך (או יותר נכון, תיעוד מסע) ליצירת מודל AI זעיר מאפס?:
@א.מ.ד.
אנחנו מחכים בקוצר רוח.
יש צפי?אני יאמר את האמת, אמנם הצלחתי ליצור את המודל, הוא למד עברית תקנית, מענה לשאלות וידע בסיסי, אבל הנתונים כנראה לא היו מושלמים והיו במבנים בעייתיים כמו של ויקיפדיה, מה שהרס את היכולת ש המודל להגיב בצורה תמציתית ומדוייקת. אני צריך לעבור על מערך הנתונים ולברור ממנו טקסטים איכותיים, לנקות אותם ממבנים, לערבב אותו ולהתחיל מחדש, אבל בשביל הניקוי הזה צריך זמן שאין לי כרגע. אולי אם יהיו מספיק חברה שמוכנים לנקות את מערך הנתונים (לא מאמין) נוכל להתקדם מהר יותר.