Từ năm 1938 đến năm 1940, đồng chí tham gia các tổ chức hội quần chúng cứu quốc ở trường học, ở xã; tháng 12-1939 được kết nạp vào Đảng Cộng sản Đông Dương; Bí thư Chi bộ xã năm 1940.

Năm 1941, đồng chí làm Phủ ủy viên lâm thời huyện Quảng Trạch, tỉnh Quảng Bình.

Từ năm 1942 đến tháng 2-1945, đồng chí làm Ủy viên Ban cán sự tỉnh Quảng Bình phụ trách hai huyện Quảng Trạch và Tuyên Hóa. Cuối năm 1942 địch khủng bố, cơ sở bị vỡ, đồng chí sang Thái-lan và Lào tiếp tục hoạt động, gây dựng cơ sở trong Việt kiều.

Tháng 3-1945, đồng chí về nước tham gia thành lập Ban cán sự tỉnh Quảng Bình (sau là Tỉnh ủy lâm thời), lập chiến khu, chuẩn bị khởi nghĩa.

Tháng 8-1945, đồng chí được chỉ định vào Thường vụ Tỉnh ủy và làm Chủ nhiệm Việt Minh tỉnh Quảng Bình.

Từ năm 1946 đến năm 1948, đồng chí làm Bí thư Huyện ủy, kiêm Chính trị viên Huyện đội, Huyện đội trưởng huyện Quảng Trạch, tỉnh Quảng Bình. Đồng chí được cử đi học lớp Nguyễn Ái Quốc khóa I-1946. Tháng 5-1948, đồng chí làm Tỉnh ủy viên, Chính trị viên, kiêm Tỉnh đội trưởng tỉnh Quảng Bình.

Từ năm 1949 đến năm 1950, đồng chí được cử đi học lớp quân sự Bộ Tổng Tư lệnh, công tác ở Phòng Đảng vụ, Cục Chính trị.

Từ năm 1951 đến tháng 1-1954, đồng chí làm Cục phó Cục Tổ chức, Phái viên của Tổng Tư lệnh trong các chiến dịch Điện Biên Phủ, Hoàng Hoa Thám, tham gia Bộ Chỉ huy và Đảng ủy Mặt trận Trung Lào.

Từ tháng 2-1954 đến tháng 3-1956, đồng chí phụ trách công tác trao trả tù binh ở Sầm Sơn và đón tiếp bộ đội miền nam tập kết.

Từ tháng 4-1956 đến năm 1960, đồng chí lần lượt kinh qua các chức vụ Cục phó Cục Điều động dân quân, Cục trưởng Cục Động viên dân quân, Bí thư Ban Chấp hành Đảng bộ cơ quan Bộ Tổng Tham mưu; đồng chí được phong quân hàm Đại tá năm 1958.

Từ năm 1961 đến năm 1962, đồng chí được cử đi học tại Học viện Quân sự Bắc Kinh.

Năm 1964, đồng chí làm Tổng Tham mưu phó.

Năm 1965, đồng chí làm Chính ủy Quân khu 4, Bí thư Khu ủy; Chính ủy kiêm Tư lệnh Quân tình nguyện Việt Nam ở Mặt trận Trung Lào.

Năm 1966, đồng chí làm Phó Chủ nhiệm Tổng cục Hậu cần phụ trách Tổng cục Tiền phương.

Từ năm 1967 đến tháng 5-1976, đồng chí đảm nhiệm các chức vụ: Tư lệnh Bộ Chỉ huy 559 kiêm Chính ủy, Bí thư Đảng ủy 559; Bí thư Ban cán sự cố vấn Đảng, quân, dân, chính, kiêm Tư lệnh Bộ đội tình nguyện ở Trung Hạ Lào. Đồng chí được phong quân hàm Trung tướng năm 1974. Trong chiến dịch Hồ Chí Minh, đồng chí tham gia cánh đường quốc lộ 1.

Tháng 6-1976, đồng chí giữ chức Thứ trưởng Bộ Quốc phòng; Chủ nhiệm Tổng cục Xây dựng kinh tế, Bí thư Đảng ủy Tổng cục.

Tại Đại hội Đảng toàn quốc lần thứ IV (tháng 12-1976), đồng chí được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng; giữ chức Thứ trưởng Thường trực Bộ Xây dựng.

Từ năm 1977 đến tháng 2-1982, đồng chí được bổ nhiệm giữ chức Bộ trưởng, Bí thư Ban cán sự đảng Bộ Xây dựng. Đầu năm 1979, chiến tranh biên giới phía bắc, đồng chí được điều trở lại quân đội làm Tư lệnh kiêm Chính ủy Quân khu Thủ đô. Tháng 8-1979, đồng chí được điều trở lại công tác tại Bộ Xây dựng, giữ chức Bộ trưởng, Bí thư Ban cán sự đảng Bộ Xây dựng.

Tại Đại hội Đảng toàn quốc lần thứ V (tháng 3-1982), đồng chí được bầu lại làm Ủy viên Ban Chấp hành Trung ương Đảng và được Ban Chấp hành Trung ương Đảng bầu làm Ủy viên dự khuyết Bộ Chính trị; được bổ nhiệm giữ chức Phó Chủ tịch Hội đồng Bộ trưởng kiêm Bộ trưởng Bộ Giao thông vận tải.

Tại Đại hội Đảng toàn quốc lần thứ VI (tháng 12-1986), đồng chí được bầu lại làm Ủy viên Ban Chấp hành Trung ương Đảng và được Ban Chấp hành Trung ương Đảng bầu làm Ủy viên Bộ Chính trị; giữ chức Phó Chủ tịch Hội đồng Bộ trưởng (nay là Phó Thủ tướng Chính phủ).

Năm 1991, đồng chí thôi giữ chức Ủy viên Bộ Chính trị, Phó Chủ tịch Hội đồng Bộ trưởng, được cử làm Đặc phái viên Chính phủ thực hiện Chương trình 327 "trồng bảo vệ rừng phòng hộ”; tham gia chỉ đạo xây dựng đường Hồ Chí Minh. Đồng chí được nghỉ công tác từ tháng 10-2006.

Đồng chí là Ủy viên Trung ương Đảng các khóa IV, V, VI; Ủy viên dự khuyết Bộ Chính trị khóa V; Ủy viên Bộ Chính trị khóa VI; Đại biểu Quốc hội các khóa I, VI, VII, VIII.

Do có nhiều công lao và thành tích xuất sắc đối với sự nghiệp cách mạng của Đảng, của dân tộc, đồng chí được Đảng và Nhà nước tặng thưởng Huân chương Sao vàng, Huân chương Quân công hạng nhất, Huy hiệu 80 năm tuổi Đảng và nhiều huân, huy chương cao quý khác của Việt Nam và quốc tế.