После окончания учёбы занимал разные должности, работал инженером на химическом полигоне, затем в Биотехническом институте РККА.
В ноябре 1937 года был арестован сотрудниками ОГПУ. В 1938 году выпущен на свободу, а через некоторое время (в марте 1938 года) продолжил службу в РККА. В мае 1940 года был назначен на должность начальника лаборатории в ВАХЗ.
В ноябре 1940 года стал старшим помощником начальника отдела ГАУ РККА. Принимал самое активное участие в разработке реактивных снарядов для системы реактивных миномётов «Катюша».
Во время Великой Отечественной войны продолжал службу в ГАУ. Занимал должность заместителя начальника Управления по производству вооружения и боеприпасов Гвардейских миномётных частей РККА.
После победы продолжил службу в ВС СССР. В 1945 году был отправлен в Германию, участвовал в работах по розыску и демонтажу нацистского реактивного вооружения.
В апреле 1946 года Мрыкин назначен на должность начальника 4-го управления ГАУ ВС СССР[2]. На этой должности занимался вопросами по созданию отечественной космонавтики, сотрудничал с «отцом» космонавтики — С. П. Королёвым.
В мае 1953 года назначен на должность начальника Управления опытно-конструкторских и научно-ислледовательских работа Управления заместителя командующего артиллерией ВС СССР.
В августе 1959 года занял пост первого заместителя начальника Реактивного вооружения ВС СССР.
В апреле 1960 года стал председателем Научно-технического комитета — первым заместителем начальника Главного управления ракетного вооружения РВСНСССР. В этом же году — член Государственных комиссий по лётным испытаниям практически всех разработанных в те годы в СССР межконтинентальных баллистическических ракет.
Принимал участие в подготовке запуска и запуске первого в мире искусственного спутника планеты и первого в мире космонавта Ю. А. Гагарина.
В сентябре 1962 года назначен на должность первого заместителя начальника Главного управления ракетного вооружения РВСН СССР.