Sư họ Mã, quê ở huyện Thập Phương. Tương truyền rằng Sư có những dấu hiệu đặc biệt của Thánh nhân (Ba mươi hai tướng tốt): mắt sáng như hổ và dáng đi như trâu, lưỡi dài chạm mũi và dưới gan bàn chân có hình bánh xe.

Lúc nhỏ, Sư vào chùa La Hán xin xuất gia với Hoà thượng Đường ở Từ Châu, sau thụ giới cụ túc ở Du Châu. Sau, Sư đến Hoành Nhạc sống viễn li và ngày ngày tu tập thiền định. Cũng tại núi này, Sư gặp Thiền sư Nam Nhạc Hoài Nhượng và đắc pháp. Cảnh Đức Truyền đăng lục kể câu chuyện sau về cách hoằng hoá của Sư và Thạch Đầu Hi Thiên (Thích Thanh Từ dịch):

Đặng Ẩn Phong đến từ biệt Sư. Sư hỏi đi đâu, Ẩn Phong nói đi gặp Thạch Đầu. Sư nói: "Đường Thạch Đầu trơn." Ẩn Phong nói có cây gậy tuỳ thân, không sao. Ẩn Phong đến gặp Thạch Đầu, dộng cây gậy xuống đất hỏi: "Ấy là tông chỉ gì?" Thạch Đầu nói: "Trời xanh! Trời xanh!" Ẩn Phong không biết trả lời sao, về thuật lại Sư. Sư khuyên Ẩn Phong trở lại Thạch Đầu, nếu Thạch Đầu lại nói "Trời xanh" thì chỉ nên khịt mũi "Hư! Hư!". Ẩn Phong nghe lời, đến Thạch Đầu, dộng gậy, lại hỏi như trước. Lần này Thạch Đầu chỉ khịt mũi "Hư! Hư!" Ẩn Phong không đáp được, lại trở về thuật lại, Sư nói: "Ta đã bảo ngươi đường Thạch Đầu trơn."

Có vị tăng đến hỏi Sư: "Thế nào được ngộ Đạo?" Sư đáp: "Ta sớm chẳng ngộ Đạo." Tăng lại hỏi: "Thế nào là ý Tổ sư từ Ấn Độ sang?" Sư liền nắm cây gậy đập và nói: "Nếu ta không đánh ngươi, các nơi sẽ chê ta."

Lịch sử Thiền tông còn nhắc nhở những câu trả lời đặc biệt của Mã Tổ về "Phật là gì?" Những cuộc pháp chiến lừng danh của Sư với cư sĩ Bàng Uẩn được ghi lại trong Bàng cư sĩ ngữ lục. Các mẫu chuyện về Mã Tổ phần lớn được ghi trong Giang Tây Đạo Nhất Thiền sư ngữ lục.