Nacido en 1933 en Longworth, Texas, Doyle Brunson creció en un pueblo de menos de cien habitantes. Dedicaba su tiempo a los deportes. Fue campeón de Texas de la milla en el colegio. Fue a la universidad en Abilene, a cuarenta millas de su pueblo natal. Más tarde fue contratado por los Mineapolis Lakers de la NBA pero una lesión de la rodilla en la universidad puso punto final a su carrera deportiva. Esa herida empeoró y le obliga a andar actualmente con muletas.

Empezó a jugar poker para ganarse la vida y fue a diferentes universidades donde conocía gente que jugaba. En ese tiempo sacó un diploma de Educación Administrativa y planeó ser profesor pero abandonó la idea cuando se dio cuenta que no estaban pagando mucho. Solo una vez en su vida tuvo un empleo "normal". Trabajó como vendedor para una empresa de equipos para oficinas. Solo se quedó dos semanas. Cuando vio su primer cheque pensó que podría hacer más dinero en un "pot" jugando poker que en una semana de trabajo.

Mientras jugaba en el "Circuito Subterráneo" de poker en los años 50s se abrió camino de las pequeñas partidas universitarias hacía partidas privadas donde se podía ganar unos cientos de dólares por noche.

Jugaba en los barrios más peligrosos de las ciudades donde podía ser asaltado, arrestado o victima de una trampa. Era socio con Sailor Roberte y Amarillo Slim y viajaban juntos. Una de las razones que hizo de Doyle Brunson un jugador tan grande es que en aquel entonces no había computadoras y había que aprender las estrategias y porcentajes "manualmente", dando miles de manos y estudiando los resultados.

Doyle y Amarillo se quedaban horas hablando de estrategia. El poker es un juego donde no ganas dinero jugando bien, sino ganas dinero por los demás jugadores jugando mal. La ausencia de material educacional tenía un gran impacto en las ganancias (o perdidas) porque mucha gente no sabía que hacer en dadas situaciones.