父ジョージ・ダイソン(George Dyson、1883年5月28日 - 1964年9月28日)は、英国の王立音楽大学(RCM、Royal College of Music)の学長もつとめた作曲家、オルガン奏者。独唱,合唱,orch.のための「カンタベリー巡礼」、「聖パウロのメリタへの旅」などの作品がある。母は弁護士。息子は著名なカヌー・ビルダーでエコロジストのジョージ・B・ダイソン。娘はICANN (Internet Corporation for Assigned Names and Numbers) 会長で作家のエスター・ダイソン。大江健三郎と親交がある。