Ismael da Silva, filho de um operário e de uma lavadeira, aos três anos mudou-se com a família da praia de Jurujuba (Niterói), para o bairro do Estácio e mais tarde para outros bairros do Rio de Janeiro. Aos 15 anos compôs seu primeiro samba, "Já Desisti", que ficaria inédito.
Aos 17 anos, de volta ao Estácio, passou a freqüentar as rodas de samba, e em 1925 a melodia de "Me Faz Carinhos" foi gravada pelo pianista Cebola, em disco da Casa Edison.
Dois anos mais tarde, doente no hospital, foi procurado por Bide, com uma proposta de Francisco Alves, que queria comprar um de seus sambas. "Me Faz Carinhos" foi lançado em disco pela Odeon, trazendo o nome de Francisco Alves como intérprete e autor.
Logo depois, o samba "Amor de Malandro" era lançado nas mesmas condições, e o êxito alcançado levou o intérprete a propor-lhe exclusividade na gravação de toda a sua produção. Ismael aceitou o acordo (mais tarde desfeito), com a condição de incluir seu parceiro Nilton Bastos. Assim, vários sambas como "Não Há", "Nem É Bom Falar" e "Se Você Jurar", lançados em 1931 pela dupla Francisco Alves/Mário Reis, tornaram-se conhecidos pelo publico.
Em 1928, com os principais sambistas do Estácio, Ismael reuniu integrantes dos "blocos de sujos" existentes no bairro, e fundou a Deixa Falar, a primeira escola de samba do Rio de Janeiro. Seria de sua autoria a expressão "escola de samba", por analogia com a Escola Normal existente no bairro. A Deixa Falar desfilou pela primeira vez no ano seguinte, com Ismael vestindo seu terno de linho branco.
Em fins de 1931, Nilton Bastos e Mano Edgar morreram. Ismael Silva deixou o Estácio e foi morar na cidade, fazendo suas primeiras composições com Noel Rosa, novo parceiro que conheceu através de Francisco Alves. O primeiro samba da dupla foi "Para Me Livrar do Mal". Depois sucessos como "Adeus" , "Uma Jura que Eu Fiz"; "Ando Cismado" e A Razão Dá-se a Quem Tem" - a maioria deles gravado por Francisco Alves.
Em dupla com Noel Rosa, o sambista estreou como intérprete em 1932, gravando na Odeon o samba "Escola de Malandro" (Orlando Luís Machado). No ano seguinte lançaram, no mesmo disco, os sambas de Noel Rosa, "Quem Não Dança" e "Seu Jacinto".
Suas composições começaram a ser gravadas por vários interpretes, entre os quais Sílvio Caldas e Carmen Miranda. Em 1937, Noel Rosa morreu. Esquecido durante a década de 1940, Ismael Silva reapareceu em 1950, quando Alcides Gerardi lançou "Antonico", um dos sambas mais belos de sua obra. No ano de 1954, Ismael participou do Primeiro Festival da Velha Guarda, em São Paulo, reunindo grandes nomes da música popular.