Никто кроме Повелителей Времени не знает «когда» Галлифрей находится. Так как планета населена расой путешественников во времени, вполне понятно, что она может существовать где угодно в прошлом или будущем относительно нашего настоящего. Однако есть предположение, что всё же родной мир Доктора находится в прошлом, так как по его мнению люди похожи на Повелителей Времени, а не наоборот.
Из космоса Галлифрей выглядит как жёлто-оранжевая планета, так как её атмосфера оранжевого цвета. Однако её поверхность и, в частности природа, чем-то напоминает Земную. Основную часть фауны составляют мелкие млекопитающие, похожие на коал и грызунов. Флора же имеет необычные оттенки. Трава на планете красная, а деревья с серебристыми листьями. Когда-то в далёком прошлом Галлифрея, этот мир был заселён динозавроподобными существами - гаргантозаврами.
В историях о Галлифрее планету защищает силовое поле — «трансдуктивный барьер». Он затрудняет проникновение извне и помогает Повелителям Времени изолировать свой мир. В сюжетах о вторжении сонтаранцев важную роль играет нарушение этой защиты изнутри.
Помимо названия планеты, «Галлифрей» является и именем столицы планеты, Цитадели, в которой находится Капитоль Повелителей Времени. Капитолий также известен как Паноптикон, под которым хранится Глаз гармонии, созданный из чёрной дыры артефакт. Он обеспечивает практически всю энергию Галлифрею, а также и даёт мощность, необходимую для путешествий во времени, так как источником энергии всех Тардис также является Глаз гармонии. Также в Капитолии расположена Матрица, громадная экстрапространственная компьютерная сеть, действующая как хранилище всех знаний Повелителей Времени и памяти мёртвых Повелителей.
За пределами Цитадели живут общины, отделившиеся от общества Повелителей Времени. Другая важная область планеты — Мёртвая зона: в древности туда переносили существ из разных эпох для гладиаторских схваток. Там находится гробница Рассилона.
Во время Последней великой войны времени Галлифрей оказывается отрезан от остальной Вселенной. В «Конце времени» Рассилон пытается вернуть планету, используя внедрённый в сознание Мастера ритм как сигнал. Доктор и Мастер срывают этот замысел, и Галлифрей вновь исчезает. Этот эпизод завершает конкретную попытку возвращения, но не всю историю планеты.
В «Утопии», действие которой происходит у конца Вселенной, происхождение Доктора уже не вызывает у его собеседников узнавания. Сериал использует этот эпизод, чтобы подчеркнуть дистанцию между прежним могуществом Повелителей Времени и памятью о них.
Поначалу Доктор считает себя последним выжившим Повелителем Времени, а встреченного далека — единственным уцелевшим врагом. Последующие истории показывают, что это знание неполно. В «Дне Доктора» несколько его воплощений спасают Галлифрей, спрятав планету в отдельной области пространства. Позднее история Галлифрея вновь меняется; считать уничтожение обеих рас окончательным нельзя.