Происходил из семьи торговца шерстью. Занялся стрельбой в 1871 году и с 1874 года вместе со сборной участвовал в соревнованиях. В 1908 году принял участие в летних Олимпийских играх в Лондоне и соревновался в трёх дисциплинах. Стал олимпийским чемпионом в стрельбе из винтовки на 1000 ярдов, а также занял 9-е место в стрельбе по подвижной мишени одиночными выстрелами и 15-е по стрельбе двойными. На момент выигрыша олимпийского золота Миллнеру было 61 год и 4 дня.
После завершения карьеры занялся разведением ирландских красных сеттеров, был судьёй на собачьих выставках и написал книгу «Ирландский сеттер, история и дрессировка» (англ.The Irish Setter, Its History and Training).