Народився 14 червня 1835 року. Музикою займався з 4 років, а з семи - концертував разом з братом Антоном. Вчився в Берліні у Куллака грі на фортепіано і у Дена - теорії музики. Потім займався у Віллуана. Закінчивши курс в університеті, Рубінштейн став на чолі московського відділення Російського музичного товариства (1860). А в 1866 році став директором тільки-но відкритої московської консерваторії, з якою не розлучався до самої смерті. Рубінштейн був видатним педагогом по грі на фортепіано, прекрасним капельмейстером і віртуозним піаністом.

За кордоном Рубінштейн концертував рідко: у 1872 році він грав у Відні, в 1872 році організував російські концерти на всесвітній виставці в Парижі, будучи першим серйозним пропагандистом російської музики у Франції. У цих концертах Рубінштейн виступав як диригент і піаніст. В кінці 1870-х Рубінштейн дав серію з 33 благодійних концертів в різних містах Росії на користь Червоного Хреста.

Рубінштейн допомагав молодим талантам. Значну роль зіграв Рубінштейн композиторській кар'єрі П. І. Чайковського. Зокрема під керівництвом Рубінштейна відбулася 1-а постановка опери «Євгеній Онєгін». Саме Рубінштейн замовив Чайковському знаменитий Перший фортепіанний концерт. Проте сам піаніст, отримавши ноти, відмовився його виконувати, вважаючи твір занадто важким та незручним для виконання і зажадав від Чайковського переробки Концерту. Проте Чайковський лише змінив присвяту - німецькому піаністові Гансу Бюлову, який і виконав його вперше у Бостоні.

Помер Микола Рубінштейн в 1881 році в Парижі.