4 апреля 1879 г. Ф.Э. Келлера произвели в полковники, и в том же году – во флигель-адъютанты. В мае 1879 г. он направляется в Константинополь и на Балканский полуостров для участия в работе международной комиссии по определению границ Болгарии. За службу в рядах болгарского ополчения болгарским князем Александром I ему был пожалован рескрипт, а за участие в сражениях при Эски-Загре, Шипке и Шейново – медаль.

В январе 1880 г. Ф.Э. Келлер возвращается в Россию. Через два года он был зачислен в свиту Его Императорского величества и награжден орденом Св. Анны 2-й степени.

30 декабря 1882 г. состоялось назначение графа командиром лейб-гвардии 4-го стрелкового Императорской фамилии батальона с оставлением в звании флигель-адъютанта. Это было очень почетное назначение.

За успешное выполнение проверки порядка призыва в Полтавской губернии графу Ф.Э. Келлеру было объявлено «монаршее благоволение». В 1884 г. по высочайшему повелению – командировка во Францию для присутствия на маневрах войск. В 1886 г. ему пожалован орден Св. Владимира 3-й степени и французский Командорский крест ордена Почетного легиона, а в 1889 г. – персидский орден Льва и Солнца I степени.

Честному войсковому офицеру, более привыкшему к боевым испытаниям, чем к дворцовым интригам, нахождение при царском дворе принесло немало неприятностей. Он был незаслуженно оболган в глазах императора Александра III, что всю его дальнейшую жизнь причиняло ему массу неприятностей, так как в этой истории фигурировал близкий к императорскому двору князь В.П. Мещерский, пользовавшийся большим влиянием. Однажды князю Мещерскому, известному и как автор романов так называемого «салонного жанра», в которых описывалась жизнь великосветского Петербурга («Женщины петербургского большого света», «Мужчины петербургского большого света» и др.), и не скрывавшему свое влечение к юношам, приглянулся трубач из батальона Ф.Э. Келлера. Тогда Ф.Э. Келлер, узнав о связи князя с трубачом, возмутился. Он наказал подчиненного и решительно пресек его «отношения» с князем. Разгневанный Мещерский решил отомстить графу, начав, по своему обыкновению, доносить на него, распространять грязные слухи, в том числе в газете-журнале «Гражданин», основателем и издателем которого он являлся. Интриги князя принесли «плоды» – в 1890 г. Ф.Э. Келлеру пришлось оставить командование батальоном.

Тем не менее за ратные заслуги его вскоре произвели в генерал-майоры с назначением заведующим мобилизационной частью Главного управления казачьих войск и переводом в Генеральный штаб. В этой должности он несколько раз выезжал для наблюдения за ходом проверочной мобилизации в казачьих войсках: Донском, Кубанском, Оренбургском и Астраханском. Ему прочили скорое повышение по службе и в 1892 г. представили к ордену Св. Станислава 1-й степени, наградили сербским орденом Такова 2-й степени, но уже через год усилиями князя Мещерского молодой генерал был зачислен в запас Генерального штаба. Между тем расследование доказало невиновность Ф.Э. Келлера и всю низость В.П. Мещерского в отношении к нему. Справедливость восторжествовала, и Ф.Э. Келлер был реабилитирован, а 4 ноября 1893 г. назначен директором Пажеского корпуса.

Он близко к сердцу принимал интересы каждого из своих подчиненных, всегда был рад сделать что-нибудь хорошее, оказать нравственную или материальную поддержку. Каждый раз, когда ему это удавалось сделать, он чувствовал себя поистине счастливым. Шесть лет директорства Ф.Э. Келлера были воистину самой яркой эпохой всей истории этого элитного учебного заведения. Многие его воспитанники впоследствии с теплотой вспоминали добрые дела графа. И воспитанники, и сослуживцы искренне сожалели, когда в 1899 г. граф Ф.Э. Келлер был произведен в генерал-лейтенанты и назначен екатеринославским губернатором.