Hej Linnéa,
vad gäller prövningar så får alla, oavsett vilka betyg de har, anmäla sig. Den begränsning som finns är att gymnasieelever, inskrivna på en gymnasieskola får göra prövningar endast på sin egen skola. Alla de andra, som inte är gymnasieelever och som är folkbokförda i Sverige får göra prövningar i alla städer/kommuner i Sverige och oavsett vilka kurser de tidigare har läst (eller inte läst) och vilka betyg de har (eller saknar).
Du kan därför anmäla dig till prövning i matematik 5 i hela Sverige, oavsett i vilken kommun du är folkbokför i och oavsett om sedan innan har några betyg, över huvudet taget.
*********
Vad gäller Obehörig att läsa på komvux, så undrar jag om du fick svar OBEHÖRIG eller om du fick svar PLATSBRIST eller någonting om att du inte tillhör de prioriterade målgrupper? För att behörig är du ju, för att du har läst motsvarande matte 4-kurs (du kan ju bevisa det genom att visa dina studieresultat från det tekniska basåret). 
Det är en annan sak om komvux anser att du inte behöver läsa matte 5 för att du redan har examensbevis från gymnasiet och att matte 5 inte krävs för någon svensk högskoleutbildning, så den kursen behöver man inte för särskild behörighet,utan för den så kallade "konkurrenskompletteringen", alltså vill du ha högre meritvärde genom att få fler meritpoängen, om jag förstår dig rätt.
Du kan/får söka till varje ny kursstart på komvux. Att du fick Nej, gäller den ansökan till den kursstart som du gjort då. Det är inte för all framtid. Du kan ha tur och komma in. Skulle det däremot var så att du redan hade godkänt betyg i en kurs och vill läsa samma kurs för att få ett högre betyg, då kommer du troligtvis inte få plats på komvux, oavsett hur många ggr du söker.

Så, mina råd är att du kan söka läsa på komvux (och om du fick svar OBEHÖRIG, VISA UPP DINA BETYG FRÅN BASÅRET - så kommer du anses som behörig); du kan också se om du hittar var du kan anmäla dig till en prövning (det är svårare att få högre betyg om man gör prövning i en kurs som man inte har läst, eller ingick det kanske även matte 5 i basåret som du redan har avklarat?).
Du kan också titta på möjlighet att uppnå fler meritpoäng genom engelska 7 och moderna språk 3 och 4. Det går att uppnå max som är 2.5 utan högre mattekurser också. Eng7 ger 1.0 och en kombination av moderna språk 3 och 4 ger 1.5, så blir det totalt 2.5 som är max antal meritpoäng man kan få. Kika gärna på gymnasieguiden.se/informeras/merit