Это сложный вопрос, и лечение, скорее всего, вызовет больше проблем, чем болезнь. Так как, если у рассматриваемого приложения не хватает памяти, оно, скорее всего, вылетит (даже BSOD возможен).
Во всяком случае, цитируя Клинта Хаффмана, он отвечает на тот же вопрос:
Ответ в основном зависит от общего использования физической памяти, но может быть ограниченным.
Он немного объясняет фон объема физической памяти, который использует процесс, который называется «Рабочий набор». Самое интересное для вас следующее
есть инструмент, называемый диспетчером системных ресурсов Windows, который может ограничивать количество рабочего набора, используемого процессом. Этот инструмент можно установить (не устанавливается по умолчанию) через консоль добавления компонентов в Windows Server 2008 R2.
Этот компонент предназначен для версий Windows Server. Тем не менее, вы должны иметь возможность установить его и на более новые несерверные версии Windows (см. Последний комментарий Клинта). Но нет гарантии. Вы можете найти WSRM здесь.
Чтобы имитировать ограничения памяти, вы можете использовать виртуальную машину с ограниченным объемом оперативной памяти, но я думаю, это не то, что вам нужно.
В клиентских версиях (и более новых версиях сервера) WSRM был заменен на системный монитор, который не имеет возможностей ограничения памяти (AFAIK).
Если у вас есть проблемы с памятью в приложении, которое может быть легко заменено альтернативой, которая больше соответствует вашим ограничениям памяти, вам следует переключиться. Например, текущие статьи рекомендуют Firefox как наименее требовательный к памяти браузер.