Kolarov inledde sin professionella karriär i den serbiska klubben FK Čukarički Stankom 2004 och hann även spela för OFK Beograd innan han flyttade utomlands för spel i italienska SS Lazio 2007. Efter 82 ligamatcher och sex ligamål för Lazio värvades han av Manchester City sommaren 2010 i en övergång värd 16 miljoner pund.[1]
I juli 2017 värvades Kolarov av Roma, där han skrev på ett treårskontrakt.[2] Den 8 september 2020 värvades Kolarov av Inter.[3]