Obec Brezovica vznikla v roku 1580 ako valašská obec. Bola nazvaná ako obec v politickom okrese - Trstená. Názov dediny je podľa brezy. Zakladaciu listinu vydanú Stanislavom Thurzom roku 1580 a znova vydanú Jurajom Thurzom, dostal šoltýs Alexander Wallasek a jeho dvadsať spoločníkov. Oni dostali povolenie postaviť v oblasti dnešnej Brezovice mlyn a pílu. V roku 1593 boli v Brezovici tri sedliacke domy a v roku 1606 ich už bolo desať. Hranice chotára idú: od Zábiedova po potok Trsteník, od Trstenej po Božiu Matku, od Liesku po Omegovej potôčik. V roku 1615 bola k Brezovici pričlenená Skorušina. V roku 1683 bola obec vypálená Litovskými vojskami vracajúcimi sa z Viedne, a potom následne vybudovaná. V roku 1728 má obec 884 obyvateľov. Potom počet obyvateľov poklesol. Obyvatelia sa živili chovom kráv, oviec, výrobou syra a ľanu. Obyvatelia Brezovice boli v poddanskom pomere do roku 1848, kedy bolo zrušené. Definitívna úprava pomeru medzi Oravským hradným panstvom a jej obyvateľmi sa stala urbárskou dohodou roku 1870 (18. januára). Cirkevne patrila Brezovica do farnosti Trstená. V rokoch 1883-1884 bol vybudovaný kostol remeselníkmi z Trstenej.