diff --git a/src/policy_cache.hpp b/src/policy_cache.hpp
index 172758f5..ad15854c 100644
--- a/src/policy_cache.hpp
+++ b/src/policy_cache.hpp
@@ -67,7 +67,7 @@ public:
   cleanup()
   {
     while(_cache.size() > _max_size)
-      _cache.erase(_cache.begin());
+      _cache.erase((_cache.size() & 1) ? _cache.begin() : _cache.rbegin());
   }
 
   void