Можно ли заниматься только разговорным английским?
Да, возможны занятия с упором на разговорные навыки. Но для этого, очевидно, надо уже обладать определённым запасом слов. И, разумеется, дружить с грамматикой. Хотя, с другой стороны, я не против English as a lingua franca (ELF).