תשובה: קבצים! (או בכללי זכרון טווח ארוך כגון database)

הבה נכיר 2 מושגים בעולם התוכנה/הנדסה:

stateless vs statefull

המילה state זה "מצב" אבל הכוונה בעולמות המחשבים הוא כמו תמונת המצב המלא, כולל כל המידע הרלוונטי לאותו מצב.

אם זה בשרתים, נשאר מה הגדרות השרת וקבצי הלוגים שלו.

ואם זה בתוכנה שרצה כרגע, נשאר מה הפעולות שהיוזר עשה, באתרים מתקדמים כל תנועת עכבר וקליק מתועדת.

אם זה בחשבון הבנק, זה כמה כסף יש כרגע וגם מה ההעברות האחרונות, לפי הזמן שאנחנו שואלים.

בעולם ה-AI הכוונה היכולת שלו לזכור את מה שהיה.

ל-AI יש זכרון טווח קצר וזכרון טווח ארוך. זכרון טווח קצר זה השיחה שלנו איתו, מה שיש בתוך השיחה הוא זוכר יחסית טוב, ככל שזה הולך אחורה בשיחה הוא זוכר פחות טוב, וכאשר הגענו למקסימום זכרון טווח קצר שלו (context window) אזי הוא עושה לעצמו קומפקט (auto compact) [לפחות ככה זה בכלים המודרנים], שזה אומר שהוא רושם לעצמו את עיקרי הדברים ופותח שיחה חדשה מאפס וקורא את עיקרי הדברים = זכרון טווח קצת חדש לחלוטין!

כל פעם שהAI מתחיל שיחה חדשה, היא חדשה, הוא ממש לא זוכר כלום מכלום. ואנחנו צריכים לעזור לו "להזכר" בהכל, כמו למשל אדם שעבד על איזה פרוייקט קטן לפני 5 שנים, הוא צריך חוברת הוראות להזכר בהכל מהתחלה.

הדרך הקלה והפופולרית ביותר היא קבצי טקסט, פשוטו כמשמעו (או קבצי MD שזה קבצי טקסט עם טיפי שיטות להדגשה או חלוקה לנושאים).

מאוד חשוב כל שיחה עם הAI לפני שוסגרים לדרוש ממנו לרשום את המסקנות החשובות מהשיחה לאיזה קובץ, כדי שאם אני ארצה מחר להמשיך את השיחה או לזכור משהו מהשיחה - שיהיה מתועד.

ממש לעשות WIKI על הפרוייקט שלכם, אפילו אנדרו קרפטי מאבי אבות הAI המליץ על זה!

ישנם כלים מתקדמים מבוססי בסיסי נתונים לאחסון, תיעדוף, אינדוקס ושליפה של נתונים בצורות מתקדמות יותר. (אינדוקס = איך בהכנסה אני קובע שמידע X יצא החוצה כאשר אני שואל שאלה Y)

מי שרוצה לחקור את זה, מעבר לחיפוש פשוט, יש RAG, GRAPH, ועוד.

[הערה לעצמי להמשך - אפשר להציג כדוגמא את נושא הPR בפרוייקט מטרו]