Foi nos primeiros anos do século 20, em torno de 1904, que os primeiros moradores se fixaram na região. Com a chegada da estrada de ferro, em torno de 1910, acentuou-se a presença de filhos de imigrantes, principamente italianos. Provinham da região de Caxias do Sul, Bento Gonçalves, Guaporé...

Os filhos de imigrantes, principalmente os de origem italiana e alemā, tinham profunda religiosidade. Logo se organizaram em pequenas comunidades, construindo capitéis e capelas. Assim, já em 1912 surgia a primeira comunidade, do Divino Espírito Santo, no local que futuramente receberia o nome de Paiol Queimado. Aliás, de acordo com a versão do Pe. Antônio Tamagno, ali nascido em 1935, foi ele que, quando menino fez surgir o fogo que queimou o paiol, dando a razão e início ao estranho nome. Depois surgiria, em 1916, a capela Santo Antônio, atualmente bem visível para quem passa pela rodovia RS 135, junto ao trevo que dá acesso à cidade de Sertão. Ao que dizem, os moradores desta capela ainda guardam os livros originais dos associados e sua organização, inicialmente escritos em italiano. Depois surgiria a capela São José, a atual Matriz, construída então na atual praça ao lado da Matriz São José.

Os padres que atendiam esta região, antes de 1911, vinham de Passo Fundo. A partir de 30 de outubro de 1911, com a presença e um padre palotino (Pe. Alberto Scheuermann, de de 1911 a no curato de Getúlio Vargas (Getúlio Vargas então ainda chamado de Erechim), a região de Sertão passou ser atendida pelos padres curas de Getúlio Vargas. Em 1916 os padres palotinos entregaram a administração do curato. O seguinte cura foi o Pe. Luiz Priuli, de 1917 a 1918. Depois foi entregue aos padres capuchinhus, sendo então a comunidade de Sertão atendida pelo novo cura Pe Frei Gentil de Caravaggio, até 1924. Em 1924 assumiu como Cura em Getúlio Vargas o Mons. João Batista Farinon. Com a criação da Paróquia Nossa Senhora da Imaculada Conceição de Getúlio Vargas (30-12-1926), Sertão passou pertencer a esta nova paróquia que se desmembrava de Passo Fundo. O primeiro pároco de Getúlio Vargas era o Mons. João Batista Farinon, que deve ter percorrido todas as capelas então existentes em Sertão, até 1939, quando foi a vez de Sertão ser transformada em sede de paróquia. Politicamente, porém, Sertão continuava a pertencer ao município de Passo Fundo, como uma subdivisão do distrito de Coxilha. Foi apenas em 5 de agosto de 1933 que foi criado o distrito de Sertão, representando um momento importante da localidade. Tudo crescia rapidamente e em 19 de março de 1939 Dom Antônio Reis, bispo de Santa Maria, criou a Paróquia São José de Sertão.

O primeiro pároco, Pe. Ludovico Ricardo Redin, além de líder religioso, revelou-se também líder civil. Sua atuação marcou indelevelmente o início da paróquia. Homem zeloso, piedoso, de temperamento forte, moldou toda uma geração de católicos. Interessante notar que tanto sua chegada em 1939, como sua saída em 1952, foram desastradas. Assumiu em março de 1939 e já no dia 5 de abril foi acometido de tifo e pneumonia, correndo sério perigo de vida, internando-se no Hospital São Roque de Getúlio Vargas e só retornando 45 dias depois, deixando a paróquia sem as celebrações da Semana Santa. E em 1952, ao sair, depois de sérios desentendimentos com o povo e com o Bispo de Passo Fundo, retirou-se tristonho e derrotado para Paulo Bento e depois para Realeza, no Paraná, onde faleceu, alguns anos depois, abandonado por todos. Criou-se uma lenda de que havia amaldiçoado a vila de Sertão. Foi necessário, cinquenta anos depois, que o Bispo de Passo Fundo, Dom Ercilio Simon, antigo coroinha do Pe. Ludovico, explicasse ao povo de que não havia fundamento para tal lenda e que um sacerdote é ordenado para abençoar e não para amaldiçoar. Foi feita, então uma reparação pública ao Pe. Ludovico, com uma placa e nome da praça, bem como a acolhida de seus restos mortais na entrada da Igreja Matriz, sinal de reconciliação e perdão. A lenda deve ser repudiada e esquecida. Todos lembram que o Pe. Ludovico muito amou Sertão e empenhou-se em organizar a paróquia e a vila, tratando logo de construir um Hospital, um Colégio (1945), ajudando inclusive no traçado das ruas do distrito, empenhou-se em construir a Casa Paroquial (ainda existente), bem como sonhou com uma Igreja Matriz monumental, com torres e cúpula, projeto que foi depois abandonado por ser grandioso demais. Já tinha armazenado todas as pedras para a sonhada construção.

Porém, o atual templo da Igreja Matriz foi construído sob liderança do segundo pároco, Pe. Máximo Coghetto. Primeiro havia sido criada uma infraestrutura de base, tal como a construção de uma olaria para fazer os tijolos para a Igreja, nas imediações da capela Santo Antônio e uma plantação de eucaliptos perto da capela São Cristóvão para fornecer os andaimes e madeiras. O projeto arquitetônico é de Antônio Boran, de Passo Fundo. A pedra fundamental foi colocada no dia 01-01-1957, sendo que foi inaugurada no dia 15 de março de 1959. Porém, a conclusão da Igreja, com a bênção do Bispo Dom Cáudio Colling, só se deu no dia 16-04-1967, já sob a liderança do terceiro Pároco, Pe. Santo Guerra. Digna de registro é a liderança do Pe. Máximo Coghetto que ajudou muito no processo de instalação do município, bem como de escola de ensino médio, sem esquecer o grande projeto de indústria de óleo de soja, mais tarde abandonado.

A localidade foi crescendo e em 5 de novembro de 1963 foi criado o município de Sertão, sendo eleito o Sr. Emesto Swchartz como primeiro prefeito municipal. A paróquia enfrentou um revés quando um vendaval, em 25-11-1974, arrancou todo o telhado da Igreja Matriz, logo recolocado com o apoio da população católica.