В чем разница между расширением файла RTF и DOC?

RTF = Rich Text Format используется многими текстовыми редакторами независимо от их производителя. Он имеет меньше функций, чем проприетарные форматы, но может использоваться на нескольких платформах с несколькими текстовыми процессорами.

DOC - это проприетарный формат документов Microsoft Word, который со всеми возможностями реализован только в этом одном продукте.

Поэтому используйте RTF только в том случае, если вам нужно передать файл текстового редактора кому-то другому, кто может захотеть его отредактировать и не владеет MS Word.