בקשה | פיתוח תוסף דפדפן להתרעות בזמן אמת מפורומים וצ'אטים מרובים
-
לכלל המפתחים הצעה לפיתוח תוסף דפדפן ריכוזי להתראות מפורומים וצ'אטים.
כיון שכיום יש צורך לעבור בין מערכות צ'אט ופורומים שונים כדי לבדוק אם התקבלו עדכונים או הודעות חדשות. המטרה היא ליצור תוסף יחיד שיציג חיווי יחיד וריכוז של כל העדכונים שנכנסו כך שיהיה אפשר לראות ברגע אחד אם יש הודעה \ התראה מאחד מהמקומות האלה -
או אתר שמאחד את הפורומים...
אבל זה מסובך בהרבה...
-
או אתר שמאחד את הפורומים...
אבל זה מסובך בהרבה...
@בינארי-חכם
מה שנכון נכון, אין הכי נמי...
מה שכן טכנית זה נראה לי מבחינה מעשית לא אפשרי. -
@בינארי-חכם
מה שנכון נכון, אין הכי נמי...
מה שכן טכנית זה נראה לי מבחינה מעשית לא אפשרי.למה?
נראה לי שיש WEBHOOK|API לנוד-ביבי -
למה?
נראה לי שיש WEBHOOK|API לנוד-ביבי@בינארי-חכם
צודק, אפשרי אבל די קשה מבחינת המורכבות שבזה. צירפתי מה שגימיני ענה לי בספויילרכן, לחלוטין. איחוד התכתבויות מפורומים שונים וסיווגן מחדש לפי נושאים (Topic Aggregation & Clustering) הוא דפוס מוכר ומיושם בעולמות של Feed Aggregators ומנועי חיפוש.
כדי מממש את זה באופן אפקטיבי, השרת של האתר המאחד צריך לכלול שלוש שכבות ארכיטקטוניות מרכזיות:
1. שכבת נרמול הנתונים (Data Normalization Layer)
מכיוון לכל פורום (NodeBB, Discourse, phpBB) יש מבנה נתונים שונה, השרת קולט את כל ההודעות/האשכולות וממיר אותן למבנה אחיד (Canonical Schema):
interface UnifiedPost { id: string; // מזהה ייחודי במערכת המאוחדת sourceForumId: string; // מזהה הפורום המקורי originalPostId: string; // מזהה ההודעה בפורום המקור author: string; title: string; content: string; createdAt: Date; assignedTopics: string[]; // תגיות/נושאים שהוקצו }
2. מנגנון הסיווג והחלוקה לנושאים (Classification Engine)
חלוקת הפיד המאוחד לפי נושאים מבוצעת באחת משתי שיטות (או בשילוב של שתיהן):
- מיפוי קטגוריות סטאטי (Static Mapping Rules):
הגדרת חוקים קבועים מראש הממפים קטגוריות מפורומי המקור לקטגוריות המאוחדות (למשל: תת-הפורום "תכנות" בפורום א' ותת-הפורום "פיתוח תוכנה" בפורום ב' ימופו שניהם לקטגוריה "פיתוח ותוכנה"). - סיווג אוטומטי מבוסס NLP / AI (Dynamic Clustering & Tagging):
מנוע עיבוד שפה טבעית הסורק את תוכן ההודעה/האשכול בזמן אמת, מחלץ מילות מפתח, ומסווג אותה זהותית/תמתית (Semantic Classification) לקטגוריות או תגיות מתאימות, ללא תלות במיקום המקורי שלה בפורום המקור.
3. שכבת אינדוקס ותצוגה (Indexing & UI Filtering)
- מנוע חיפוש ואינדוקס: שמירת הנתונים במנוע חיפוש מתקדם (כגון Elasticsearch, Meilisearch או Vector Database) מאפשרת לשלוף הודעות מכל הפורומים לפי נושא, תגית, או ציר זמן במהירות מאזית (Low Latency).
- ממשק משתמש (Unified Dashboard UI): המשתמש מקבל פיד מרכזי אחד, עם אפשרות לסנן לפי נושאים ("חומרה", "תוכנה", "גרפיקה"), להירשם להתראות ממוקדות לפי נושא ולא לפי פורום, או לצפות בציר זמן אוניברסלי.
אתגרים מרכזיים במימוש
- זיהוי הקשר והקשר לשרשור (Context & Threading): הצגת תגובות בודדות ללא אשכול האב שלהן עשויה לאבד מההקשר. המערכת צריכה לאגד תגובות בחזרה לאשכולות המקוריים שלהן.
- מניעת כפילויות (Deduplication): אם נושא מסוים מועתק או מפורסם במקביל בכמה פורומים, מנגנון האיחוד צריך לזהות כפילויות ולהציג אותן כאירוע יחיד.
סיכום
ריכוז כל ההתכתבויות וחלוקתן מחדש לפי נושאים אפשרי לחלוטין טכנית. המפתח להצלחה הוא הפרדה ברורה בין קליטת הנתונים (Ingestion), נרמולם (Normalization), וסיווגם התמתי (Classification) במנוע החיפוש המרכזי.
- מיפוי קטגוריות סטאטי (Static Mapping Rules):
-
@בינארי-חכם
צודק, אפשרי אבל די קשה מבחינת המורכבות שבזה. צירפתי מה שגימיני ענה לי בספויילרכן, לחלוטין. איחוד התכתבויות מפורומים שונים וסיווגן מחדש לפי נושאים (Topic Aggregation & Clustering) הוא דפוס מוכר ומיושם בעולמות של Feed Aggregators ומנועי חיפוש.
כדי מממש את זה באופן אפקטיבי, השרת של האתר המאחד צריך לכלול שלוש שכבות ארכיטקטוניות מרכזיות:
1. שכבת נרמול הנתונים (Data Normalization Layer)
מכיוון לכל פורום (NodeBB, Discourse, phpBB) יש מבנה נתונים שונה, השרת קולט את כל ההודעות/האשכולות וממיר אותן למבנה אחיד (Canonical Schema):
interface UnifiedPost { id: string; // מזהה ייחודי במערכת המאוחדת sourceForumId: string; // מזהה הפורום המקורי originalPostId: string; // מזהה ההודעה בפורום המקור author: string; title: string; content: string; createdAt: Date; assignedTopics: string[]; // תגיות/נושאים שהוקצו }
2. מנגנון הסיווג והחלוקה לנושאים (Classification Engine)
חלוקת הפיד המאוחד לפי נושאים מבוצעת באחת משתי שיטות (או בשילוב של שתיהן):
- מיפוי קטגוריות סטאטי (Static Mapping Rules):
הגדרת חוקים קבועים מראש הממפים קטגוריות מפורומי המקור לקטגוריות המאוחדות (למשל: תת-הפורום "תכנות" בפורום א' ותת-הפורום "פיתוח תוכנה" בפורום ב' ימופו שניהם לקטגוריה "פיתוח ותוכנה"). - סיווג אוטומטי מבוסס NLP / AI (Dynamic Clustering & Tagging):
מנוע עיבוד שפה טבעית הסורק את תוכן ההודעה/האשכול בזמן אמת, מחלץ מילות מפתח, ומסווג אותה זהותית/תמתית (Semantic Classification) לקטגוריות או תגיות מתאימות, ללא תלות במיקום המקורי שלה בפורום המקור.
3. שכבת אינדוקס ותצוגה (Indexing & UI Filtering)
- מנוע חיפוש ואינדוקס: שמירת הנתונים במנוע חיפוש מתקדם (כגון Elasticsearch, Meilisearch או Vector Database) מאפשרת לשלוף הודעות מכל הפורומים לפי נושא, תגית, או ציר זמן במהירות מאזית (Low Latency).
- ממשק משתמש (Unified Dashboard UI): המשתמש מקבל פיד מרכזי אחד, עם אפשרות לסנן לפי נושאים ("חומרה", "תוכנה", "גרפיקה"), להירשם להתראות ממוקדות לפי נושא ולא לפי פורום, או לצפות בציר זמן אוניברסלי.
אתגרים מרכזיים במימוש
- זיהוי הקשר והקשר לשרשור (Context & Threading): הצגת תגובות בודדות ללא אשכול האב שלהן עשויה לאבד מההקשר. המערכת צריכה לאגד תגובות בחזרה לאשכולות המקוריים שלהן.
- מניעת כפילויות (Deduplication): אם נושא מסוים מועתק או מפורסם במקביל בכמה פורומים, מנגנון האיחוד צריך לזהות כפילויות ולהציג אותן כאירוע יחיד.
סיכום
ריכוז כל ההתכתבויות וחלוקתן מחדש לפי נושאים אפשרי לחלוטין טכנית. המפתח להצלחה הוא הפרדה ברורה בין קליטת הנתונים (Ingestion), נרמולם (Normalization), וסיווגם התמתי (Classification) במנוע החיפוש המרכזי.
אבל די קשה מבחינת המורכבות שבזה.
גם ככה אף אחד לא בונה את זה לבד
אלא ייעזר עם AI אז מה זה משנה כמה עבודה נותנים לו... - מיפוי קטגוריות סטאטי (Static Mapping Rules):
-
אבל די קשה מבחינת המורכבות שבזה.
גם ככה אף אחד לא בונה את זה לבד
אלא ייעזר עם AI אז מה זה משנה כמה עבודה נותנים לו...@בינארי-חכם
כן, אבל זה נראה לי מורכב בגלל איחוד שרתים וכדומה ובקשת הרשאות מכל אחד שיסכים לך וכו' (כי זה לא משהו שאתה בעלים עליו וכל אחד בונה במקום אחר עם שרת אחר, כך שלא יסבך...), אבל אדרבה שמישהו יעשה את זה לטובת הציבור! ישר כח! -
לכלל המפתחים הצעה לפיתוח תוסף דפדפן ריכוזי להתראות מפורומים וצ'אטים.
כיון שכיום יש צורך לעבור בין מערכות צ'אט ופורומים שונים כדי לבדוק אם התקבלו עדכונים או הודעות חדשות. המטרה היא ליצור תוסף יחיד שיציג חיווי יחיד וריכוז של כל העדכונים שנכנסו כך שיהיה אפשר לראות ברגע אחד אם יש הודעה \ התראה מאחד מהמקומות האלהלכלל המפתחים הצעה לפיתוח תוסף דפדפן ריכוזי להתראות מפורומים וצ'אטים.
https://tosafix.vercel.app/extensions/notiforum
או אתר שמאחד את הפורומים...
אבל זה מסובך בהרבה...
![ע"ה דכו"ע](/assets/uploads/profile/uid-24261/24261-profileavatar-1774768870385.png "ע"ה דכו"ע"){kind=avatar}
שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות { const baseUrl = "https://www.google.co.il/search?q=site:mitmachim.top"; const m = location.pathname.match(/^\/(topic|category)\/(\d+)/); const type = m ? m[1] : null; const id = m ? m[2] : null; let searchInput; function search(path = "") { const query = searchInput.value.trim(); if (query) { window.open(`${baseUrl}${path}%20${encodeURIComponent(query)}`, "_blank"); } } let buttons = {}; buttons.searchAll = { id: "bb-search-all", label: `חיפוש ${type ? "בכל הפורום" : ""}`, className: type ? "btn-secondary" : "btn-primary", callback: () => search(), }; if (type === "topic") { buttons.searchTopic = { label: "חיפוש בנושא זה", className: "btn-primary", callback: () => search(`/topic/${id}`), }; } else if (type === "category") { buttons.searchCategory = { label: "חיפוש בקטגוריה זו", className: "btn-primary", callback: () => search(`/category/${id}`), }; } buttons.cancel = { label: "ביטול", className: "btn-default", "data-bs-dismiss": "modal" }; const dialog = bootbox.dialog({ title: '<div style="text-align:center;"><img src="/assets/uploads/files/1625950269825-mt-google.png" width="400" alt="חיפוש בגוגל"></div>', message: '<input id="bb-inp" class="bootbox-input bootbox-input-text form-control" placeholder="הקלידו כדי לחפש בגוגל" autocomplete="off"/>', buttons, backdrop: true, show: true, onEscape: true }); dialog.on("shown.bs.modal", function () { searchInput = document.getElementById("bb-inp"); if (searchInput) { searchInput.focus(); searchInput.addEventListener("keydown", function (e) { if (e.key === "Enter") { e.preventDefault(); const query = this.value.trim(); if (query) { search(); dialog.modal("hide"); } } else if (e.key === "Escape") { e.preventDefault(); dialog.modal("hide"); } }); } const searchAllButton = document.getElementById("bb-search-all"); if (searchAllButton) { searchAllButton.title = "לחצו על אנטר כדי לחפש"; } }); })(); void 0;){kind=link}