El pueblo se recorre pronto, y durante el invierno viven en él muy pocas personas. En ningún momento el visitante puede abstraerse del ruido que provoca la cascada que nace en el mismo centro de la localidad, y que es protagonista indiscutible de la estructura urbana. Sus cristalinas aguas brotan en la base de la Cueva del Agua, caverna que se abre en el cantil rocoso que preside el pueblo, y que lo divide en dos partes: Villa y Puebla, condicionando por completo la vida de sus gentes. Por esta cueva, que forma parte del interesante complejo kárstico de Orbaneja, tienen su salida natural las aguas subterráneas provenientes de un enorme acuífero situado en el subsuelo del páramo de Bricia. El caudal de esta surgencia, de carácter permanente a lo largo del año, aumenta considerablemente en época de fuertes lluvias y deshielo, de tal manera que el recorrido de las aguas saltando desde los distintos niveles de terraza de toba, formados y recrecidos gracias a ellas, es un espectáculo único e indescriptible, sobre todo en primavera. En la actualidad, la cueva se visita con un guía y se puede caminar un buen trecho dentro de la misma. A pesar de que no lleva agua, se puede escuchar cómo el ruido del agua cercana retumba en las paredes. Antiguamente este caudal sirvió para mover las piedras de unos cinco molinos harineros distribuidos a la vera de la cueva, de los que todavía hoy se conservan restos. Sus aguas se precipitan unos 20 metros hacia el Ebro deshaciéndose en espuma sobre una poza de aguas cristalinas.

En este singular paraje se encuentra uno de los conjuntos de arquitectura popular mejor conservados y con mayor encanto de toda Castilla y León. Las casas son de evidente traza montañesa, como no podía ser de otro modo dada la proximidad geográfica de Cantabria. Las casas no son de mucha altura, pero su aspecto exterior se estiliza con las elegantes solanas de madera que se asoman a las viejas y estrechas calles del pueblo. Tan apiñadas están las casas, que parece que los balcones estuvieran suspendidos en el aire. El pueblo, en permanente cuesta, se ha edificado sobre unas cuantas terrazas estrechas de piedra toba. La abundancia de este material, singulariza la propia arquitectura popular, al ser utilizado profusamente en la edificación. Mientras el primer cuerpo de los edificios está construido en mampostería caliza, buscando un mejor aislamiento de la humedad, los pisos superiores presentan un aspecto más uniforme y cuidado debido a la utilización de la piedra toba, en forma de sillares. La porosidad y ligereza de esta piedra, junto a su acilidad para ser trabajada, la convierten en un material muy apropiado tanto para la construcción de muros como para el relleno de entramados de madera.

La estrechez del valle no deja lugar al terrazgo. Tan sólo algunas pequeñas huertas se sitúan a la vera del Ebro. Tradicionalmente, los campos de cultivo se han localizado en un nivel superior al pueblo. Concretamente en la paramera circundante, único espacio abierto y llano susceptible de ser labrado a pesar de las limitaciones climáticas y edáficas. El lugar, conocido como las eras de Orbaneja del Castillo, cuenta con una serie de chozas de piedra. Estas construcciones, de planta circular o cuadrada, construidas en mampostería caliza y con falsas cubiertas abovedadas, constituyen uno de los más interesantes conjuntos de arquitectura popular de la provincia burgalesa. Servían de granero y lugar de abrigo en el que poder resguardarse, en caso de tormenta.

Dentro del núcleo, el espacio de mayor amplitud corresponde a la boca de la Cueva del Agua, por lo que, desde sus orígenes, el manantial ha ocupado en Orbaneja un lugar central y protagonista. Sobre un espigón rocoso, al pie de la fuente, se sitúa una casa fuerte que pudo pertenecer a los marqueses de Aguilar. Otros edificios singulares son la Casa de los Canes y la Casa de los Pobres. La primera recibe este nombre por haber reutilizado canecillos románicos en su decoración. La Casa de los Pobres, antiguo hospital en el siglo XVI, cuenta con soportal de madera y un elegante entramado de piedra toba. En cuanto a su organización interna, es uno de los ejemplos más primitivos de la comarca. Consta de una planta baja con cuadras y la superior con un amplio espacio de cocina sin campana, recocina y estancias de habitación. Desde la original plaza, compartimentada por el cauce del manantial, se puede ascender por un empinado camino hasta alcanzar una cornisa natural desde la que admirar el grandioso paisaje del cañón del Ebro. Frente al apiñado caserío, la margen derecha del río aparece coronada por un descomunal conjunto de estructuras calcáreas naturales que, desde la lejanía, asemejan ruinas. Es uno de los ejemplos más espectaculares de modelado kárstico dentro del cañón. Efectivamente, el relieve ruiniforme resultante evoca formas fantásticas, que asemejan ruinas, retazos de un castillo inexistente que el imaginario colectivo ha perpetuado en el topónimo del pueblo.