Чтобы объяснить, что происходит с вашими избежавшими апострофами, мы рассмотрим ваш второй пример (также смотрите одиночные кавычки или сильные кавычки):
$ echo '\'Hello World\''
> # expects you to continue input
Здесь вы оставили предложение висящим, как вы заявили. Теперь обрежьте конец и измените его на:
v v v
$ echo '\'Hello World # Echo two strings: '\' and 'Hello World'.
\Hello World ^
Подстрока "Hello World" здесь не была заключена в кавычки, но она вела себя так, как если бы она была сильной. Используя ваш пример снова, обрежьте конец по-другому:
vv v (plain apostrophe)
$ echo '\'Hello World\' # Will echo: '\' and 'Hello World''
\Hello World' ^^ # Note that the trailing ' char is backslash escaped.
Подстрока "Hello World" снова ведет себя так, как если бы она была в сильных кавычках, только с добавленным апострофом (экранированный, поэтому больше не одиночная кавычка) в конце.
Когда в конце добавляется еще одна одинарная кавычка (ваш оригинальный пример), строка остается висящей и ожидает закрывающей кавычки.