Историю храма Вирупакша можно проследить до VII века. Самые ранние обнаруженные здесь надписи с упоминанием Шивы датируются IX — X веком. Культовое сооружение существовало на этом месте задолго до основания Виджаянагара. Некоторые части храма датируются периодом империй Чалукья и Хойсала, однако бо́льшая часть храма была построена правителями Виджаянагарской империи. Именно в этот период маленький храм превратился в большой храмовый комплекс.