O Ateneu conta a história de Sérgio e sua passagem pelo colégio interno de mesmo nome do título, localizado no bairro Rio Comprido, no Rio de Janeiro. Sérgio não se sente muito à vontade para entrar no internato, mas seu pai traz a justificativa de que a entrada dele no colégio seria um marco do fim de sua infância, pois ele deixaria a proteção materna de lado e começaria a ter uma educação moral, que era muito estimada nesse colégio.
Antes dele ingressar na escola, Sérgio e seu pai vão visitar o diretor, Sr. Aristarco, homem muito orgulhoso e vaidoso de sua função no internato. Além disso, eles conhecem, também D. Ema, que pede para Sérgio cortar os cabelos como despedida dos laços maternos.
Ao entrar na sala, o narrador descreve a primeira impressão dos alunos. Orientado pelo professor, Sérgio senta-se ao lado do bom aluno Rebelo, com quem teve seu primeiro contato. Ao ser apresentado à turma, Sérgio acaba ficando muito nervoso e desmaia.
Depois desse episódio, o narrador faz várias observações sobre alunos, sobre o espaço físico e sobre a disciplina do colégio, além de sua solidão em meio a todos os outros alunos.
Em um certo dia, durante uma aula de natação, Sérgio acaba se afogando e Sanches o salva, o que faz com que comece uma amizade entre os dois. Em meio a isso, Sérgio começa a ver Sanches como um tipo de protetor, porém, eles começam a ter um envolvimento mais íntimo, e quando Sérgio percebe isso, acaba brigando com seu amigo.
Após a briga, Sérgio anda um tempo sozinho e acaba fazendo amizade com Franco, que era sempre castigado. Por vingança, Franco resolve jogar lascas de vidros na piscina, e Sérgio observa tudo, ficando muito arrependido de não ter contado para ninguém o feito de seu amigo. Porém, nada acontece com os alunos, e o diretor descobre o feito de Sérgio e Franco, brigando com eles na frente de todos os outros alunos.
Sérgio aproxima-se então de Barreto, um amigo muito religioso, e conversa sobre Deus e o medo que tinha dele. Influenciado por Barreto, Sérgio reza, faz jejum, mas mesmo assim tira notas baixas, o que o faz revoltar-se contra a religião. Após o afastamento de Barreto, ele decide seguir sozinho e passa a querer o cargo de vigilante, pois assim não precisaria da ajuda de Deus ou de amigo algum para ter autoridade ou se proteger.
Nesse momento, um jardineiro do Ateneu mata outro funcionário por uma briga por causa de seu amor por Ângela, a empregada de Aristarco, e Bento Alves imobiliza o assassino no momento de fuga.
Depois desse evento, Bento e Sérgio tornam-se amigos íntimos e inseparáveis, e quando chegam as férias, Bento vai visitar Sérgio em sua casa. Porém, quando as aulas voltam, os dois brigam, sem motivo algum, e no calor da briga, Sérgio acaba agredindo o diretor, o que faz com que Bento saia do Ateneu.
Sérgio conhece então Egbert, intitulado pelo narrador como seu único amigo verdadeiro, uma vez que era uma amizade sem interesses, baseada em admirações sinceras. Egbert sempre tirava boas notas, e por essa razão foi convidado junto com Sérgio para um jantar na casa de Aristarco. Nesse jantar, D. Ema estava lá e Sérgio recebeu muitas carícias dela, reafirmando um amor platônico que ele tinha por ela. Após esse acontecimento, ele sente-se homem e resolve se afastar de Egbert, pois o livro dá a entender que eles tinham um relacionamento romântico. Paralelamente, Franco morre de uma doença misteriosa, ocasionada por maus tratos no colégio.
No final de “O Ateneu”, há uma solenidade na escola, em que Aristarco recebe um busto de cobre em sua homenagem. Porém, em meio a isso, acontece um incêndio e a escola tem o seu fim, juntamente com todo o sofrimento que Sérgio e muitos outros alunos haviam passado naquele lugar.