Толкин начал работу над историями, которые в будущем легли в основу «Сильмариллиона», ещё в 1914 году, замыслив их как английскую мифологию, объясняющую происхождение английской истории и культуры. Первую историю — «Падение Гондолина» — он закончил в конце 1916 года.
Первой законченной версией «Сильмариллиона» были «Наброски мифологии» (англ. Sketch of the Mythology), написанные в 1926 году. «Наброски» были 28-страничным рефератом, написанным для того, чтобы объяснить события, предшествующие истории Турина, Р. У. Рейнолдсу — другу Толкина, которому он посылал некоторые из своих текстов. «Наброски» Толкин развил в более полную версию «Сильмариллиона» — «Квента Нолдоринва» (англ. Quenta Noldorinwa). «Квента Нолдоринва» стала последней завершённой непосредственно Толкином версией «Сильмариллиона».
В 1937 году, Толкин отправил своему издателю, George Allen & Unwin, неполную, но уже несколько развитую версию «Сильмариллиона», озаглавленную «Квента Сильмариллион» (англ. Quenta Silmarillion), однако издательство отклонило эту работу, признав её невнятной и «слишком кельтской». Вместо публикации «Квента Сильмариллион» издатель попросил Толкина написать продолжение "Хоббита". Толкин начал было править «Сильмариллион», но вскоре действительно приступил к написанию продолжения, ставшего впоследствии «Властелином Колец». Он возобновил работу над «Сильмариллионом» лишь после завершения «Властелина Колец» и очень желал опубликовать оба произведения вместе. Но, когда стало ясно, что это не представляется возможным, Толкин полностью посвятил своё время подготовке «Властелина Колец» к публикации.
В конце 1950-х годов Толкин вернулся к «Сильмариллиону», однако основная масса его трудов того времени была более посвящена теологическим и философским подтекстам его работ, нежели повествованиям. В это время он много писал на такие темы, как природа зла в Арде, происхождение орков, привычки и обряды эльфов, природа и значение перерождения Эльдар, а также об истории «плоского мира» и происхождении Солнца и Луны. В любом случае, помимо одного-двух исключений, в последние годы своей жизни он внёс в свой легендариум совсем немного изменений.
В течение нескольких лет после смерти своего отца Кристофер Толкин занимался составлением повествования «Сильмариллиона». Намерениями Кристофера Толкина являлись максимальное использование поздних работ Толкина и обеспечение наибольшей возможной внутренней непротиворечивости произведения (а также непротиворечивости «Властелину Колец»), хотя он признавал, что полной непротиворечивости добиться, видимо, невозможно. Как объясняется в «Истории Средиземья», Кристофер использовал множество источников для своей работы, где возможно полагаясь на тексты, написанные позже «Властелина Колец», но иногда обращаясь даже к таким ранним произведениям, как «Книга утраченных сказаний» 1917 года для заполнения имеющихся пробелов в повествовании. В одной из глав «Квента Сильмариллион» («О разорении Дориата»), к которой Толкин не прикасался с начала 1930-х годов, Кристоферу пришлось составлять повествование практически с нуля. Окончательный результат, который включал генеалогии, карты, алфавитный указатель и первый напечатанный список эльфийских слов, был опубликован в 1977 году.