作为清朝第一任驻日使馆参赞，黄遵宪表现出很强的历史责任感。除协助公使处理外交事务外，他“既居东二年，稍稍习其文，读其书，与其士大夫交游”。黄遵宪不愿埋首经籍，主张“识时贵知今，通情贵阅世”，走经世致用之路。为了澄清过去封建士大夫对日本的糊涂概念，“遂发凡起例，创为《日本国志》一书”。该书以“史家纪述，务从实录”为主导思想，力求客观地向中国人民全面、准确地介绍日本的历史及现状，“详今略古，详近略远，凡牵涉西法，尤加详备，期适用也”。显然，黄遵宪想要通过叙述日本明治维新的改革历史，为中国的改革提供借鉴。书中以叙述日本历史为经，以评论古今得失为纬。用“外史氏曰”的形式，阐发他的见解，从而把自己的改革思想糅合进日本史的叙述之中。
1891年11月1日，黄遵宪被任命为清政府驻新加坡总领事。到任后，他详察南洋各岛情形，体察侨民疾苦，并着手改善侨胞待遇。当地英国殖民者设立的华民政务司“名为护卫华人，实则事事与华人为难”，甚至敲诈勒索。黄遵宪一面与英国殖民主义者斗争，一面将《大清律例》中有关财产各条抄出，并译成英文，要求总督交给华侨聚居地承审官“一体遵办”，以保护华侨的财产。同时，黄遵宪还提倡发展华文教育，改会贤社为图南社。他亲任社长，拟定学规。每月设定课题，鼓励南洋诸生学习中国文化，研究地方礼俗，关心民事民疾。当他卸任归国时，门生潘百禄在《送黄观察公度夫子返国》一诗中，用“遂令蛮貊文明开”、“无异岭表韩公来”表达对老师的赞誉之情。
《马关条约》签订后，准开沙市、重庆、苏州、杭州为通商口岸。中日双方进行具体交涉时，黄遵宪受委派主持苏、杭两地谈判事宜。他谈判的对手是日本著名外交家珍田舍己。当时，珍田摆出一副盛气凌人的架势，要求在苏、杭开埠，专界专管，并且蛮横地说：“奉本国政府接受专管租界之命，但求按约指地。”黄遵宪毫不示弱，不为其气势所慑。他援引《马关条约》条文，指出“新约所评，只许通商，遍查
