Есть много способов сделать это, но если вы застряли, сделайте это проще, а не пытайтесь найти элегантное решение. Просто создайте формулу так же, как вы описываете ее.
Вы можете извлечь отдельные цифры, обрабатывая числа как текстовую строку и используя LEFT, MID и RIGHT (или даже просто MID для каждой цифры). Используйте вложенные IF для проверки последовательных цифр слева, либо добавляя 1 для каждого последующего совпадения, либо заканчивая, когда нет совпадения. Предполагая, что числа сравнения находятся в A1 и B1, формула результата в C1 будет выглядеть следующим образом:
=IF(LEFT(A1,1)<>LEFT(B1,1),0,1+IF(MID(A1,2,1)<>MID(B1,2,1),0,1+IF(MID(A1,3,1)<>MID(B1,3,1),0,1+IF(RIGHT(A1,1)<>RIGHT(B1,1),0,1))))
Проверка на "не равны" упрощает логику завершения, потому что формула непосредственно следует вашим правилам. Вы можете проверить на "равно", но последовательность формул станет более абстрактной.