薩摩出身。薩英戦争に参加。戊辰戦争では薩摩藩軍艦「春日」に乗り組んで参加。維新後、日本海軍に入り、英国に７年間留学し近代海軍の姿を体験した。
日清戦争では、巡洋艦「浪速」艦長として豊島沖海戦、黄海海戦、威海衛攻撃などに参加。特に豊島沖海戦における「高升号」撃沈事件（清国兵を満載したイギリスの輸送船を撃沈した事件）は東郷の名を世界的に有名にした。
日露開戦が必至の状況になった時、常備艦隊司令長官（戦時は連合艦隊司令長官となる役職）に着任。諸説あるが、東郷が実戦経験の豊富な指揮官であったこと、国際法などに精通し勉強熱心であったこと、大本営の指揮下として行動してくれると言う信頼があったことなどが挙げられている。しかし、連合艦隊司令長官交代を明治天皇に推挙した際、山本海軍大臣は「東郷は運の強い男です。」と答えた逸話もある。
日露会戦後は、仁川港と旅順港の奇襲成功・旅順口閉塞作戦・黄海海戦・バルチック艦隊の壊滅など、その手腕を発揮した。
戦後、世界から名将と称され尊敬された。軍令部部長などを歴任するが神様扱いがエスカレートし、さすがの東郷も頑迷固陋となったと言う。1934年５月３０日没。８７歳。