нужно избавиться от странных символов в тексте

Question

Мне нужно обработать следующий текст, чтобы избавиться от странных символов, таких как:

â<80><99> â<80><9c> â<80>?

Пример текста:

Неизъяснив тайну, Hyatt попытался дать своим гостям чувство безопасности, разместив охрану в вестибюле. Но Вольф не мог избавиться от мысли, что вор может вернуться в ее комнату в любое время. <80> <9c> мне снились многие ночи, <80>?говорит Вольф, 66-летний консультант Dell по ИТ-услугам, который приезжает в Хьюстон по делам.

Кто-нибудь может мне помочь с этим? Я надеюсь либо вручную удалить его с помощью какой-либо команды в Vi, либо сделать это с помощью скрипта.

Answer 1

Я нашел этот текст здесь: http://www.forbes.com/sites/andygreenberg/2012/11/26/security-flaw-in-common-keycard-locks-exploited-in-string-of-hotel- номер-взломы /

Символы, вызывающие проблему, - это причудливые кавычки и апостроф, которые не являются стандартными символами ascii для кавычек и апострофов.

Я вставил этот текст в свою копию vim, и он отлично справился с этими символами.

Но вот как сделать замены, когда такие вещи происходят: http://aditya.sublucid.com/2008/01/18/replacing-those-pesky-smart-quotes-in-vim/

Answer 2

В основном эта проблема возникает, если вы переносите файл с Windows или DOS. Чтобы избавиться от этих нежелательных специальных символов, используйте утилиту "dos2unix"

mkannan@talksense-dr:~/tmp$ dos2unix test.sh 
dos2unix: converting file test.sh to UNIX format ...