与 Hellman 不同，Diffie 早在 10 岁时就第一次接触到密码学。他的父亲是一位历史教授，并从当地图书馆带回了一些关于密码学的书籍。Diffie 喜欢数学，但讨厌学校，因此即使大家都认为迪菲非常聪明，他却从未想过像父亲所希望的安排自己的生活，迪菲只是勉强毕业。

尽管他在学校表现的并不出色，但他很聪明，并在麻省理工的入学考试中取得了优异的成绩。他曾尝试如何自学编程，但认为这是非常低级的学习，觉得很是无聊，他选择把大部分时间都花在了学习数学上。