L'ancien village de Xidi aurait été fondé par la descendance de l'empereur Zhaozong des Tang. L'un des fils de cet empereur qui fut forcé d'abdiquer fut adopté par la famille Hu, qui vivait alors dans un village voisin. Cent ans plus tard, la descendance de ce fils d'empereur au triste destin parti s'installer au village de Xidi et y prospéra.
Cette famille Hu y prospéra tellement que le village s'agrandi et devint un village commercial important dans la région de Huangshan.
La famille Hu et sa descendance occupa une place importante dans le village de Xidi et avait beaucoup d'influence, que ce soit en matière commerciale comme politique. Se développant à partir du négoce, le village compta quelques six cents résidences luxueuses à son apogée, aux XVIIème et XIXème siècles. Ces maisons blanches aux toitures noires sont alors caractéristiques de cette période de richesse pour le village de Xidi.
Aujourd'hui, c'est un peu plus d'une centaine de bâtisses qu'il est possible de visiter. Ces bâtiments d'époque sont une merveille architecturale et culturelle. Tout comme le village de Hongcun, l'architecture et l'organisation du village de Xidi représente une illustration vivante de la vie quotidienne dans un village prospérant grâce au négoce à l'époque féodale.
Contrairement au village de Hongcun qui s'étend sur une surface de 28 hectares, Xidi représente à peine 16 hectares au sud des Montagnes Jaunes. Et pourtant, cela ne l'empêche pas d'avoir un charme tout particulier. Avec ses étendues d'eau et ses maisons traditionnelles de l'époque féodale, le village de Xidi est tout simplement majestueux. Ces splendides paysages sont dignes d'une carte postale et valent vraiment un petit voyage reposant.