פגיעה בפריון עקב אי קיום יחסים?

שלום! אני גבר בן 30 נשוי מזה 5 שנים. אשתי ואני מקיימים יחסים בערך פעם בשבועיים ולפעמים אפילו פחות מזה. התדירות הנמוכה מפריעה לי ואף יצא לנו לדבר על זה מספר פעמים אך ללא הועיל. (אבל זה כבר בשאלה אחרת). השאלה שלי היא - האם יש סיכוי לפגיעה בפוריות עקב אי קיום יחסי מין? לאחרונה אני מרגיש כי אשכי "ריקים" (אין לי מילה טובה יותר). האם זה קשור? תודה!