吴谦从小热爱劳动，个性刚强，敢打抱不平，富有反抗性。他憎恨旧社会，痛恶地主豪绅，与劳苦大众有深厚感情。他小时读过私塾，勤奋学习，成绩优异，于1915年考入宣平师范讲习所。毕业后，1917年至1922年在宣平的章伍里村和新屋村(今丽水市崇义乡)小学教书。1923年回家，迁居马口村开设了一爿小杂货店。
1927年8月，吴谦由曾志达、陈俊介绍加入中国共产党。他以经商为掩护，从事革命工作，在宣平西乡一带进行党的秘密活动，曾在马口的上隔溪、内河洋、饭甑岭头、壶源等地的田头灰铺、岩洞、田野里开过多次党的活动分子会议。1927年8月，宣平成立第一个党组织——中共宣平独立支部，吴谦是独支成员之一。同年10月，经中共浙江省委批准，建立中共宣平县委，吴谦为县委委员，后为执行委员，分管军事。
吴谦在党的领导下，利用自己经商的有利条件，联络亲朋好友，发展地下党员，组织赤色农民协会，领导农民进行“二五”减租斗争。当地的恶霸地主陈永怀，反动气焰十分嚣张，竭力破坏“二五”减租，勾结反动政府，千方百计要谋杀吴谦，发誓说:“我和吴谦的两个脑袋，只能留一个，留我不留他，留他不留我。”
1928年，吴谦在组织各地赤色农民协会中，先后发展了郑振宝、梅周明、全新法、谢信权、占麟祥、谢树法等40多名党员，建立了马口、壶源、河涧、大溪口、弄坑等党支部。县委决定建立城区(后为马口)区委，吴谦兼任区委负责人。
1929年1月19日，泽村小学教师、党的地下联络站负责人陶瑢被捕，联络站遭破坏，暴露了我地下党宣平县委和区委负责人的全部名单，吴谦被悬赏通缉。他与曾志达、陈俊等一起避往上海，找到潘漠华，向党中央写了《浙江宣平党务报告》。他根据在沪县委成员研究的意图，辗转于闽浙赣边区，他随带一架留声机，奔波于金华、汤溪、严州(今建德)、龙游、松阳、遂昌一带，以唱“洋戏”为掩护，联络失散在外地的同志，开展革命活动。
1930年，在武义红军的影响下，他积极参与组织宣平红军，担任西营红军党代表。
1930年8月下旬，吴谦接上级通知，到杭州参加省互济总会代表会，他即与西营红军指挥郑汝良等商量，以此机会到杭州购买枪支弹药，以解决红军的武器装备，并以大河源村鲍信泰药店赴兰溪采购药材的名义为掩护。9月2日他与红军战士鲍陶富一起，带了银洋，手提藤篮，从大河源步行出发，翻山越岭，用各种方式，星夜闯过了白姆等地反动武装的岗哨，于9月3日上午到达金华。中午在一家饭店吃饭时，遇到大河源村的鲍益峰(绰号叫老峰头)等两人，鲍原系宣平西营红军人员，吴谦也不知道他已叛变，在交谈中被刺探去前往杭州，取道兰溪的路线。他们假装“热情”送行到码头上船以后，就向国民党金华县公安局告密，金华县公安局即电告驻兰的省保安队第三团团长竺鸣涛，竺亲自带了一名副官和警察前往兰溪码头候缉。当天下午，船到码头，敌兵蜂涌而上，指名搜捕。吴谦觉察到事已暴露，随手从船上拿起菜刀，砍伤一名敌兵的手臂，乘机跳入河中，潜过数只船底，逃进康王庙附近的一位测字老人家里，说明情况，老人深表同情，给他更换了衣服，将他转移到屋背。这时，竺鸣涛下令，集合全团官兵，包围了整个兰溪城，实行戒严，挨家挨户搜查。傍晚七时左右，吴谦被搜捕的敌兵发现，开枪射击，脚部中弹而被捕。
吴谦被捕以后，省保安队竺鸣涛即电告宣平县政府，吴家被查封，继而放火烧毁，妻子被关押，二个幼儿寄养于姑母家。
吴谦在狱中受尽敌人惨无人道的严刑拷打，双手日夜被反绑，脚上用了两副重镣，然而，他坚贞不屈，始终保持浩然正气。敌人为了获取口供，证实其身份，施展了“苦肉计”，把一个窃得我地下党联络暗号的特务分子吴阿四，关进另一个监牢里，然后将吴谦转移到该牢，这个特务则冒充中共义乌县委地下交通员，发出暗号。由于暗号相符，吴谦信以为真，暴露了红军党代表的身份和赴杭参加会议，购买枪支弹药的情况。
临刑前，吴谦因脚部中弹重伤，敌人用轿子抬着，在兰溪县城游街示众。吴谦大义凛然，视死如归，在生命的最后时刻，写下了给妻子的绝命书，还沿街高呼“打倒蒋介石”、“打倒反动派”、“中国共产党万岁”等口号。1930年9月6日下午三时，吴谦同志在兰溪南门外沙滩上慷慨就义。
