[{"data":1,"prerenderedAt":4},["ShallowReactive",2],{"readme:stale":3},"\u003Cp>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2605.06527\" rel=\"nofollow ugc noopener\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FarXiv-2605.06527-b31b1b.svg\" alt=\"arXiv\" \u002F>\u003C\u002Fa>\u003C\u002Fp>\n\u003Ch1>STALE and CUP-Mem\u003C\u002Fh1>\n\u003Cp>This repository contains the code and resources for our paper:\u003C\u002Fp>\n\u003Cp>\u003Cstrong>STALE: Can LLM Agents Know When Their Memories Are No Longer Valid?\u003C\u002Fstrong>\u003Cbr \u002F>\u003Ca href=\"https:\u002F\u002Farxiv.org\u002Fabs\u002F2605.06527\" rel=\"nofollow ugc noopener\">arXiv:2605.06527\u003C\u002Fa>\u003C\u002Fp>\n\u003Cul>\n\u003Cli>\u003Ccode>STALE\u002F\u003C\u002Fcode>: dataset generation and evaluation scripts for the STALE benchmark.\u003C\u002Fli>\n\u003Cli>\u003Ccode>cup_mem\u002F\u003C\u002Fcode>: the CUP-Mem memory pipeline for session-by-session profile updates and conflict-aware query answering.\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Ch2>Main Results\u003C\u002Fh2>\n\u003Cp>We evaluate each model on two implicit-conflict types and three probing dimensions:\nState Resolution (SR), Premise Resistance (PR), and Implicit Policy Adaptation (IPA).\nOverall denotes the average accuracy across all six settings.\u003C\u002Fp>\n\u003Ctable>\n\u003Cthead>\n\u003Ctr>\n\u003Cth>Model\u003C\u002Fth>\n\u003Cth align=\"right\">Type I SR\u003C\u002Fth>\n\u003Cth align=\"right\">Type I PR\u003C\u002Fth>\n\u003Cth align=\"right\">Type I IPA\u003C\u002Fth>\n\u003Cth align=\"right\">Type II SR\u003C\u002Fth>\n\u003Cth align=\"right\">Type II PR\u003C\u002Fth>\n\u003Cth align=\"right\">Type II IPA\u003C\u002Fth>\n\u003Cth align=\"right\">Overall\u003C\u002Fth>\n\u003C\u002Ftr>\n\u003C\u002Fthead>\n\u003Ctbody>\u003Ctr>\n\u003Ctd>GPT-4o-mini*\u003C\u002Ftd>\n\u003Ctd align=\"right\">30.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">11.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">9.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">8.7\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>GPT-5.4-nano\u003C\u002Ftd>\n\u003Ctd align=\"right\">20.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">21.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">9.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">6.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">9.8\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>GPT-5.4\u003C\u002Ftd>\n\u003Ctd align=\"right\">35.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">2.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">29.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">9.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">2.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">17.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">15.7\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>Gemini-3.1-flash-lite\u003C\u002Ftd>\n\u003Ctd align=\"right\">41.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">42.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">25.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">23.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">22.4\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>Gemini-3.1-pro\u003C\u002Ftd>\n\u003Ctd align=\"right\">92.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">30.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">71.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">69.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">14.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">55.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">55.2\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>Claude-Opus-4.6\u003C\u002Ftd>\n\u003Ctd align=\"right\">50.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">10.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">42.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">21.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">9.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">36.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">28.3\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>Llama-3.3-70B-Instruct*\u003C\u002Ftd>\n\u003Ctd align=\"right\">6.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">3.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">6.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">2.6\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>Qwen3.5-9B\u003C\u002Ftd>\n\u003Ctd align=\"right\">36.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">21.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">21.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">7.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">14.6\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>Qwen3.5-27B\u003C\u002Ftd>\n\u003Ctd align=\"right\">76.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">4.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">39.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">42.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">3.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">23.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">31.3\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>MiniMax-M2.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">10.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">8.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">5.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">5.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">2.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">5.5\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>LightMem\u003C\u002Ftd>\n\u003Ctd align=\"right\">52.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">23.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">21.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">7.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">17.8\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>Zep\u003C\u002Ftd>\n\u003Ctd align=\"right\">10.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">19.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">3.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">3.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">6.0\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>LiCoMemory\u003C\u002Ftd>\n\u003Ctd align=\"right\">15.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">22.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">4.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">7.6\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>A-mem\u003C\u002Ftd>\n\u003Ctd align=\"right\">13.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">7.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">8.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">5.1\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>mem-0\u003C\u002Ftd>\n\u003Ctd align=\"right\">17.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">1.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">22.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">3.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">0.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">6.5\u003C\u002Ftd>\n\u003Ctd align=\"right\">8.3\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003Ctr>\n\u003Ctd>\u003Cstrong>CUPMem (Ours)\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd align=\"right\">91.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">\u003Cstrong>78.0\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd align=\"right\">32.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">\u003Cstrong>89.0\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd align=\"right\">\u003Cstrong>75.0\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003Ctd align=\"right\">43.0\u003C\u002Ftd>\n\u003Ctd align=\"right\">\u003Cstrong>68.0\u003C\u002Fstrong>\u003C\u002Ftd>\n\u003C\u002Ftr>\n\u003C\u002Ftbody>\u003C\u002Ftable>\n\u003Cp>All numbers are accuracies (%).\u003Cbr \u002F>\u003Ccode>*\u003C\u002Fcode> indicates settings where evidence-preserving truncation was applied because the full context exceeded the model's context window.\u003C\u002Fp>\n\u003Ch2>Setup\u003C\u002Fh2>\n\u003Cp>Use Python 3.10 or newer. Create one environment for each component:\u003C\u002Fp>\n\u003Cpre>\u003Ccode class=\"language-bash\">cd STALE\nconda create -n stale python=3.10 -y\nconda activate stale\npython -m pip install -r requirements.txt\ncp .env.example .env\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cpre>\u003Ccode class=\"language-bash\">cd cup_mem\nconda create -n cupmem python=3.10 -y\nconda activate cupmem\npython -m pip install -r requirements.txt\n\u003C\u002Fcode>\u003C\u002Fpre>\n\u003Cp>Fill \u003Ccode>STALE\u002F.env\u003C\u002Fcode> with provider keys and local paths before running generation or evaluation.\u003C\u002Fp>\n\u003Ch2>Components\u003C\u002Fh2>\n\u003Cp>\u003Ccode>STALE\u002F\u003C\u002Fcode> provides:\u003C\u002Fp>\n\u003Cul>\n\u003Cli>ontology-seed based data generation\u003C\u002Fli>\n\u003Cli>timestamp and haystack assembly\u003C\u002Fli>\n\u003Cli>target-model response generation\u003C\u002Fli>\n\u003Cli>automatic response judging and performance summaries\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>See \u003Ccode>STALE\u002FREADME.md\u003C\u002Fcode> for commands and expected input\u002Foutput formats.\u003C\u002Fp>\n\u003Cp>\u003Ccode>cup_mem\u002F\u003C\u002Fcode> provides:\u003C\u002Fp>\n\u003Cul>\n\u003Cli>structured memory write and invalidation logic\u003C\u002Fli>\n\u003Cli>retrieval and premise verification\u003C\u002Fli>\n\u003Cli>conflict-aware readout for memory-dependent queries\u003C\u002Fli>\n\u003Cli>OpenAI-compatible and Responses API client wrappers\u003C\u002Fli>\n\u003Cli>a single-sample runner that can consume \u003Ccode>STALE\u002Foutputs\u002F*_MAIN.json\u003C\u002Fcode> directly\u003C\u002Fli>\n\u003C\u002Ful>\n\u003Cp>See \u003Ccode>cup_mem\u002FREADME.md\u003C\u002Fcode> for minimal usage.\u003C\u002Fp>\n",1787958257988]