diff --git a/src/policy_cache.hpp b/src/policy_cache.hpp
index 09dce7c5..fe6f629f 100644
--- a/src/policy_cache.hpp
+++ b/src/policy_cache.hpp
@@ -43,6 +43,7 @@ public:
   {
     _cache.visit_while([&](Map::value_type &v_)
     {
+      _cache.erase(v_);
       return (_cache.size() > _max_size);
     });