הצעת ייעול | סיכום האשכול AI

אהרן

בעידן הAI, נראה שהגיע הזמן שבפורום המוביל לטכנולוגיה יופיע סיכום של האשכול בתחילת / סוף / צד / ... כל אשכול, שיווצר באופן אוטומטי ויתעדכן בהתאם. עי' בפורום לתורה שמישהו מביא סיכומי אשכולות שהAI יצר, ממש חוסך זמן ומועיל. ראיתי סיכומים כאלו באתרים שמעל הדף מופיע הסיכום.
בתודה מראש.

לאצי

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

ראיתי סיכומים כאלו באתרים שמעל הדף מופיע הסיכום.

אפשר דוגמאות/קישורים?

אהרן

@לאצי כתב בהצעת ייעול | סיכום האשכול AI:

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

ראיתי סיכומים כאלו באתרים שמעל הדף מופיע הסיכום.

אפשר דוגמאות/קישורים?

הראשון שעלה לי בחיפוש https://www.tiuli.com/tracks/146/סיור-ברובע-היהודי

לאצי

@אהרן אולי שמישהו יפתח תוסף נודביבי לזה. יעיל לשרשורים ארוכים במיוחד.
עריכה: ביקשתי כאן - https://community.nodebb.org/post/104652

לאצי

יש את התוסף הזה כאן - https://community.nodebb.org/post/100460 שנותן אופציה כזאת ליצור סיכום לכל נושא בלחיצת כפתור.

אמנם התוסף הזה נותן גם אפשרות לערב את GPT בשיחות. דבר שלהשערתי לא יאהבו כאן בפורום, אבל ניתן להשבית את האפשרות הזו ע"י אי הגדרה של משתמש בשם chatgpt בדף ניהול התוסף. (ובינינו, בכל אופן כאן בפורום כבר קיים משתמש בשם @ChatGPT ...)

ובכל אופן אשמח אם מישהו יפתח תוסף דומה, כי אחרי הכל עדיף תוסף שמבוסס על API של Gemini, מכיוון שהוא חינמי ומוגבל פחות. אופציה כזו עשויה להיות שימושית יותר. ואולי אפילו עדיף תוסף שמאפשר למשתמשים להזין API אישי משלהם כך שלא יגמרו הטוקנים במהירות.

פרוזי

@לאצי אני לא מצליח להבין איפה בדיוק אני מוריד שם את התוסף...
יש שם רק הוראות לשימוש שלו...
איפה התוסף בדיוק?

לאצי

@פרוזי

אהרן

@לאצי כתב בהצעת ייעול | סיכום האשכול AI:

יש את התוסף הזה כאן - https://community.nodebb.org/post/100460 שנותן אופציה כזאת ליצור סיכום לכל נושא בלחיצת כפתור.

אמנם התוסף הזה נותן גם אפשרות לערב את GPT בשיחות. דבר שלהשערתי לא יאהבו כאן בפורום, אבל ניתן להשבית את האפשרות הזו ע"י אי הגדרה של משתמש בשם chatgpt בדף ניהול התוסף. (ובינינו, בכל אופן כאן בפורום כבר קיים משתמש בשם @ChatGPT ...)

ובכל אופן אשמח אם מישהו יפתח תוסף דומה, כי אחרי הכל עדיף תוסף שמבוסס על API של Gemini, מכיוון שהוא חינמי ומוגבל פחות. אופציה כזו עשויה להיות שימושית יותר. ואולי אפילו עדיף תוסף שמאפשר למשתמשים להזין API אישי משלהם כך שלא יגמרו הטוקנים במהירות.

תודה, אבל עדיין התוסף הזה זה משהו אישי שכל אחד יסכם לעצמו, אני מציע שמראש מובנה בפורום יהיה הסיכום [חוסך זמן / טוקנים / סיבוך לכל אחד, פעם אחת מסכמים וגומרים עד העדכון של האשכול] אתה פותח אשכול ומייד רואה סיכום, ואולי אפילו כשעומדים עליו מבחוץ במקום לראות את הפוסט הראשון רואים את הסיכום, ועוד יתרונות.

לאצי

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

[חוסך זמן / טוקנים / סיבוך לכל אחד, פעם אחת מסכמים וגומרים עד העדכון של האשכול]

זמן אולי יחסוך.
טוקנים???
בדיוק להיפך, זה לא יגמור לשתות טוקנים כי כל פעם שמישהו מוסיף פוסט לשרשור הAI צריך לסכם זאת שוב ושוב מהתחלה. אם תמצא AI שלא מוגבל בטוקנים או בשום דבר אחר אז יש על מה לדבר.

לאצי

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

אני מציע שמראש מובנה בפורום יהיה הסיכום [חוסך זמן / טוקנים / סיבוך לכל אחד, פעם אחת מסכמים וגומרים עד העדכון של האשכול] אתה פותח אשכול ומייד רואה סיכום, ואולי אפילו כשעומדים עליו מבחוץ במקום לראות את הפוסט הראשון רואים את הסיכום, ועוד יתרונות.

הפתרון לכך הוא שבמקום להשתמש בAPI ל AI שיהיה מוגבל בטוקנים, ניתן לשלב בתוסף ספריית AI מקומית שתעבד את המידע ותסכם אותו. החיסרון בדבר הוא שזה צורך משאבי עיבוד, אחסון המידע, וכדו'. והשאלה היא אם שרתי הפורום עונים על הדרישות האלה.

מידע על ספריות כאלה מאת AI:
1. GPT4All
משאבים נדרשים: דורש מעבד חזק (CPU) או כרטיס גרפי (GPU) עם לפחות 16GB RAM כדי לפעול בצורה חלקה.
יתרונות: ניתן להרצה מקומית ללא צורך בחיבור לאינטרנט, תומך במודלים שונים.
חסרונות: דורש התקנה מורכבת יחסית, איכות הסיכום תלויה במודל שנבחר.

2. Mistral AI
משאבים נדרשים: 8GB RAM ומעלה, מתאים להרצה על מחשבים אישיים חזקים או שרתים.
יתרונות: מהיר ויעיל, ניתן להתאמה אישית.
חסרונות: פחות נפוץ, דורש כוונון (fine-tuning) כדי להגיע לביצועים מיטביים.

3. Llama (Meta)
משאבים נדרשים: 32GB RAM ומעלה, מתאים לשרתים חזקים.
יתרונות: מודל מתקדם עם יכולות עיבוד שפה טבעית גבוהות.
חסרונות: דורש משאבים רבים, פחות נגיש למשתמשים פרטיים.

4. BART (Facebook)
משאבים נדרשים: 16GB RAM, ניתן להרצה על מחשבים אישיים חזקים.
יתרונות: מותאם במיוחד למשימות סיכום טקסטים, תומך בעיבוד שפה טבעית.
חסרונות: דורש כוונון כדי להגיע לתוצאות מיטביות.

5. T5 (Google)
משאבים נדרשים: 8GB RAM ומעלה, ניתן להרצה על מחשבים אישיים.
יתרונות: מודל גמיש, מתאים למשימות שונות כולל סיכום טקסטים.
חסרונות: דורש התאמה אישית כדי להגיע לביצועים מיטביים.

השפעות ושיקולים נוספים:
דיוק הסיכום: מודלים כמו GPT4All ו-Llama מספקים סיכומים איכותיים יותר אך דורשים יותר משאבים.

מהירות: מודלים קלים כמו Mistral ו-T5 יכולים לספק סיכומים מהירים יותר.

עלות: שימוש במודלים מקומיים חוסך עלויות API אך דורש השקעה בחומרה.

ע"ה דכו"ע

@לאצי כתב בהצעת ייעול | סיכום האשכול AI:

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

אני מציע שמראש מובנה בפורום יהיה הסיכום [חוסך זמן / טוקנים / סיבוך לכל אחד, פעם אחת מסכמים וגומרים עד העדכון של האשכול] אתה פותח אשכול ומייד רואה סיכום, ואולי אפילו כשעומדים עליו מבחוץ במקום לראות את הפוסט הראשון רואים את הסיכום, ועוד יתרונות.

הפתרון לכך הוא שבמקום להשתמש בAPI ל AI שיהיה מוגבל בטוקנים, ניתן לשלב בתוסף ספריית AI מקומית שתעבד את המידע ותסכם אותו. החיסרון בדבר הוא שזה צורך משאבי עיבוד, אחסון המידע, וכדו'. והשאלה היא אם שרתי הפורום עונים על הדרישות האלה.

מידע על ספריות כאלה מאת AI:
1. GPT4All
משאבים נדרשים: דורש מעבד חזק (CPU) או כרטיס גרפי (GPU) עם לפחות 16GB RAM כדי לפעול בצורה חלקה.
יתרונות: ניתן להרצה מקומית ללא צורך בחיבור לאינטרנט, תומך במודלים שונים.
חסרונות: דורש התקנה מורכבת יחסית, איכות הסיכום תלויה במודל שנבחר.

2. Mistral AI
משאבים נדרשים: 8GB RAM ומעלה, מתאים להרצה על מחשבים אישיים חזקים או שרתים.
יתרונות: מהיר ויעיל, ניתן להתאמה אישית.
חסרונות: פחות נפוץ, דורש כוונון (fine-tuning) כדי להגיע לביצועים מיטביים.

3. Llama (Meta)
משאבים נדרשים: 32GB RAM ומעלה, מתאים לשרתים חזקים.
יתרונות: מודל מתקדם עם יכולות עיבוד שפה טבעית גבוהות.
חסרונות: דורש משאבים רבים, פחות נגיש למשתמשים פרטיים.

4. BART (Facebook)
משאבים נדרשים: 16GB RAM, ניתן להרצה על מחשבים אישיים חזקים.
יתרונות: מותאם במיוחד למשימות סיכום טקסטים, תומך בעיבוד שפה טבעית.
חסרונות: דורש כוונון כדי להגיע לתוצאות מיטביות.

5. T5 (Google)
משאבים נדרשים: 8GB RAM ומעלה, ניתן להרצה על מחשבים אישיים.
יתרונות: מודל גמיש, מתאים למשימות שונות כולל סיכום טקסטים.
חסרונות: דורש התאמה אישית כדי להגיע לביצועים מיטביים.

השפעות ושיקולים נוספים:
דיוק הסיכום: מודלים כמו GPT4All ו-Llama מספקים סיכומים איכותיים יותר אך דורשים יותר משאבים.

מהירות: מודלים קלים כמו Mistral ו-T5 יכולים לספק סיכומים מהירים יותר.

עלות: שימוש במודלים מקומיים חוסך עלויות API אך דורש השקעה בחומרה.

זה לא זה, זה לא יספק את הסחורה הנדרשת.

לאצי

@ע-ה-דכו-ע אז הפתרון לכך הוא אולי API של Mistral.ai שנותן בקשה אחת בשנייה 500,000 אסימונים לדקה 1 מיליארד אסימונים בחודש. (דורש SMS ליצירת מפתח API למי שמעוניין לדעת.)
וכדי לחסוך בטוקנים התוסף יתחיל לסכם את השרשור רק בפתיחה שלו ע"י משתמש בפעם הראשונה מאז התקנת התוסף. וכמובן שבתקופה הראשונה האסימונים שלו יגמרו די מהר כי הוא יצטרך לסכם הרבה מאוד מאמרים שאף פעם לא סוכמו. לאחר תקופה זה יתחיל להתמתן כשרוב הפוסטים יסוכמו.
וכאמור ניתן להגביל שהסיכום יתחיל רק ממספר מסוים של פוסטים.

אלישי

@לאצי אני יכול להטמיע כזה מנוע, אבל שכל אחד יכניס את הטוקן הפרטי שלו.
כל אחד יוכל לבחור איזה מודל הוא רוצה שיסכם ולהכניס מפתח מתאים.

תכתוב בנושא שיצרת בקומיוניטי שהוא ירחיב את התוסף שהוא בנה לכזה פיצ'ר.

אהרן

@אלישי כתב בהצעת ייעול | סיכום האשכול AI:

@לאצי אני יכול להטמיע כזה מנוע, אבל שכל אחד יכניס את הטוקן הפרטי שלו.
כל אחד יוכל לבחור איזה מודל הוא רוצה שיסכם ולהכניס מפתח מתאים.

תכתוב בנושא שיצרת בקומיוניטי שהוא ירחיב את התוסף שהוא בנה לכזה פיצ'ר.

ניתן לעשות שכשאחד יסכם [בטוקנים שלו] הסיכום ישמר ויראה לכולם.
כמו כן, ניתן לעשות שכל לילה התוסף יסכם את כל האשכולות שנידונו היום [אולי רק אלו מעל 10 פוסטים], ויכתוב עד איזה פוסט סוכם כולל הפניה אליו [כך יוכלו להיכנס לראות מה נכתב אחרי זה], ובאשכול פופולרי יסכם במשך היום אחרי 10 תגובות מחדש. כמו כן, מי שיפתח אשכול ישן זה יסכם לו אותו, אולי רק אם יכניס מפתח משלו, וישמור את הסיכום לכולם. כך לאט לאט כל הפורום יסוכם, ולכאורה בלי עול כבד מידי. כמובן זה דוגמא בלבד והמנהל יצטרך להחליט על תדירות ואופי הסיכומים.

לאצי

@אלישי וכוונתך שזה יופעל אוטומטית על כל נושא או רק בלחיצת כפתור?

אלישי

@לאצי בלחיצת כפתור, כמו שיש בתוסף הקיים, רק פשוט במקום שמנהל הפורום יכניס טוקנים, שהמשתמשים יכניסו בהגדרות הפרופיל שלהם, כמו כן המנוע לא יהיה רק מopenai אלא גם מג'מיני גרוק וכדומה.

לאצי

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

ניתן לעשות שכשאחד יסכם [בטוקנים שלו] הסיכום ישמר ויראה לכולם.

אפשרי בכלל?

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

כמו כן, ניתן לעשות שכל לילה התוסף יסכם את כל האשכולות שנידונו היום [אולי רק אלו מעל 10 פוסטים], ויכתוב עד איזה פוסט סוכם כולל הפניה אליו [כך יוכלו להיכנס לראות מה נכתב אחרי זה], ובאשכול פופולרי יסכם במשך היום אחרי 10 תגובות מחדש.

על חשבון מי?

אהרן

@לאצי כתב בהצעת ייעול | סיכום האשכול AI:

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

ניתן לעשות שכשאחד יסכם [בטוקנים שלו] הסיכום ישמר ויראה לכולם.

אפשרי בכלל?

לא יודע, זה אני משאיר למומחים, אני מגיע רק עם הצעות שנראות לי סבירות, לא ממידע

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

כמו כן, ניתן לעשות שכל לילה התוסף יסכם את כל האשכולות שנידונו היום [אולי רק אלו מעל 10 פוסטים], ויכתוב עד איזה פוסט סוכם כולל הפניה אליו [כך יוכלו להיכנס לראות מה נכתב אחרי זה], ובאשכול פופולרי יסכם במשך היום אחרי 10 תגובות מחדש.

על חשבון מי?

לזה לא יספיק חינמי? [לכמה אשכולות מוסיפים ביום 10 פוסטים?]

צדיק תמים

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

@לאצי כתב בהצעת ייעול | סיכום האשכול AI:

@אהרן כתב בהצעת ייעול | סיכום האשכול AI:

ראיתי סיכומים כאלו באתרים שמעל הדף מופיע הסיכום.

אפשר דוגמאות/קישורים?

הראשון שעלה לי בחיפוש https://www.tiuli.com/tracks/146/סיור-ברובע-היהודי

זה לא דוגמה טובה כי זה מאמר על נושא אחד שנכתב על ידי אדם אחד
לסכם מסקנה של דיון בין הרבה אנשים זה הרבה יותר קשה, ועוד יותר כאשר בדיון יש אנשים עם רמות שונות של ידע

לאצי

המפתח הוסיף בתוסף אפשרות להכנסת מפתח API של ג'מיני. לגבי התאמה אישית לכל משתמש, אולי בהמשך.