Sin embargo, entre los equipos que nunca han conseguido ascender a Primera división, sólo el Racing de Ferrol ha estado más temporadas en Segunda división que el Barakaldo. También ha jugado partidos con equipos de la talla de Chelsea FC. Para ver la mejor temporada del club baracaldés hay que asomarse a la temporada 1953-1954 cuando el Barakaldo CF consiguiera el mejor puesto de su historia al quedar segundo en la Segunda División por detrás del Deportivo Alavés y jugando la promoción de ascenso a Primera División quedando encuadrado con la UE Lleida, Hércules CF y Málaga CF y con los equipos de Primera: el C. A. Osasuna y el R. Jaén. Después de esta etapa el Barakaldo alternó durante las dos siguientes décadas la Segunda y Tercera división con periodos cortos en la división de plata (1964-66, 1972-75, 1977-79 y 1980-81). En esta época, menos brillante que la anterior, destaca sin embargo la campaña 1977-78, con un Barakaldo que obtuvo la 4.ª plaza, quedando a un puesto del ascenso a la Primera división española. A una primera etapa entre 1934 y 1936, siguió un forzoso paro de tres años a causa de la Guerra Civil Española. Ocupa actualmente el puesto octavo en la Clasificación histórica de la Primera División y cuenta en su palmarés con 2 títulos de Liga, 3 títulos de Copa del Rey y una Supercopa de España.
El año 1952, en el mes de mayo, el equipo juvenil del Barakaldo, representando a la empresa Altos Hornos de Vizcaya quedó campeón siendo Edu, Cholo, Urquiaga, Larburu, Manolín, Flores, Peña, Ocio, camisetas baratas futbol Alonso y Gorostiza los artífices del triunfo. En el año 1919 pasó a la zona del primer campo el Viejo Lasesarre, unas campas bajas surcadas de zanjas que inundaban el campo de juego con agua salada de las pleamares. El 28 de noviembre de 1948, jugó el Barakaldo contra el Gerona FC y fue ese día cuando se inauguró la “jaula” o “túnel” de salida de los jugadores por debajo de la tribuna al campo de juego del antiguo Lasesarre. Desde 1981, el Barakaldo no ha logrado retornar a su segunda división. La Segunda división ha sido el techo histórico de este club que nunca ha conseguido el ascenso a la Primera división española. Aunque ya en la primera temporada de la Liga Española (1928-29) estuvo encuadrado en una categoría denominada Segunda División «B», lo cierto es que el debut del Barakaldo en la Segunda división española se produjo en la temporada 1934-35 tras lograr el ascenso desde la Tercera división. La competición de liga volvió en la temporada 1939-40. El Barakaldo perdió su categoría de Segunda la temporada 1944-45, pero en la temporada 1945-46 recobra su puesto definitivamente en Segunda División.
La fecha cumbre en los anales deportivos y económicos del Club Barakaldo, tuvo lugar un domingo soleado correspondiente al 27 de febrero de 1949, fecha en que contendieron el Barakaldo y la Real Sociedad. En la parte inferior el Teide con nieve en su cumbre y rodeado del azul del cielo. Por la ayuda económica de Altos Hornos de Vizcaya (A.H.V.) cambió sus clásicos colores de amarillo y negro por la camisola azul y el pantalón blanco, así como el escudo, en fondo rojo, con las iniciales de A.H.V. Durante aquella época los fabriles estuvieron patrocinados por los Altos Hornos de Vizcaya, principal empresa de la ciudad, que llegó incluso a cambiar la denominación del club por la de Baracaldo Altos Hornos. Fue también la época en la que con los fabriles llegó a jugar un mito como Telmo Zarra, el máximo goleador de la historia de la Liga española, que se retiró en el Baracaldo.
El torneo de Primera División 1922 quedó en la historia de la institución como el primer campeonato de liga que obtuvo Independiente; alcanzó el primer puesto con cuatro puntos de ventaja con respecto al segundo, que fue River Plate. Tan temprano como en la temporada 91/92, el equipo conducido por el exjugador Chiche Sosa penaría durante todo el Torneo Clausura por mantener la categoría, consiguiéndolo en las fechas finales pero ingresando en la compleja dinámica de luchar por la permanencia en la división de privilegio. La más clara muestra respecto de las dificultades que afrontó el club tras su retorno es que la campaña en la «A» se inició con unos satisfactorios 57 puntos en la temporada 97/98, pasando luego a unas aceptables 49 unidades a la temporada siguiente, cosechando 10 unidades menos en la 99/2000 y comenzando a acercarse a la zona de riesgo en la tabla de Promedios, y obteniendo la regular suma de 43 en la 2000/01, temporada en la que por primera vez se debió jugar una Promoción para conservar la categoría pese a acabar en el 4.º lugar en el torneo Clausura, solo por detrás de San Lorenzo, River y Boca.