El germen de la ciudad de Kuldiga se encuentra en el siglo XIII, cuando en 1242 se construyó el castillo de la Orden Letona de Caballeros con permiso del prior de la orden, iniciándose así el desarrollo de la ciudad. Kuldiga, uno de los antiguos asentamientos de los curonianos, es un importante cruce en las vías comerciales de la época medieval, lo que significó su ingreso en la Liga Hanseática a partir de 1368.
En 1355, se desarrolla la villa en torno al castillo, primera ampliación de la ciudad y traslado de la antigua Kuldiga. En 1561, tras la desaparición de la orden comienza la etapa del Ducado de Kurzeme y Zemgale que durará hasta 1795. Durante este periodo se suceden diversos avatares como una crecida que se llevó el puente sobre el río Venta en 1615, la Guerra Nórdica en 1700, o el ataque de los suecos al castillo en 1701.
Durante la primera parte del siglo XIX se retiran las últimas ruinas del castillo y en 1874 se construye un puente de ladrillo. Uno de los edificios más significativos es la Sinagoga, construida en 1875 durante el reinado del Zar Alejandro II, que fue el centro de una comunidad judía muy activa.