Глядя только на вашу первую формулу, аргументов слишком много:
=IF(OR(F17="",H16-F17),E17="",0,H16+E17))
Оператор IF() состоит только из трех частей: логический тест, значение, если оно истинно, и значение, если ложно.
Например, если вы пытаетесь проверить, является ли F17 или E17 пустым, а затем выполнить сложение или вычитание на основе этого теста, это должно быть записано так:
=IF(OR(F17="",E17=""),H16-F17,H16+E17))
Здесь функция OR() имеет два аргумента и служит логическим тестом. Если либо F17, либо E17 не заполнены, то результатом будет H16-F17. Если ни то, ни другое не указано, результатом является H16+E17.
Это может помочь, если вы объясните, что вы пытаетесь сделать словами, как я делал выше для оператора IF().
РЕДАКТИРОВАТЬ: Перечитывая заголовок вашего вопроса, похоже, вы пытаетесь создать вложенный оператор IF(). В этом случае либо value-if-true, либо value-if-false (или оба) могут быть другим оператором IF(). Вот пример:
=IF(LogicalTest1,IF(LogicalTest2,ValueA,ValueB),ValueC)
Здесь, если LogicalTest1 и 2 оба ИСТИНА, результатом является ValueA. Если LogicalTest1 равен TRUE, а 2 - FALSE, результатом будет ValueB. Если LogicalTest1 равен FALSE (независимо от LogicslTest2), результатом будет Value3.
Что-то в этом роде может дать вам то, что вы ищете.