안녕하세요.

회사 선임과 같이 퇴근하고 있습니다.
(선임분과 저의 나이는 30대이며, 차이는 3~4살 정도)
일단 전 신입사원 2개월 차 이며, 면허가 없습니다.
(면허는 아직 취득 할 생각은 없습니다)
회사와 사택 거리는 택시 편도 15000원 정도 되며,
지하철/지상철도 없으며 회사-시내버스정류장까지 15~20분 정도
시내버스 노선은 2~3개 배차시간도 좀 긴 편입니다.(15~20분정도)
통근버스도 사택까지 한 40~50분정도 걸립니다.
회사 선임분 차로는 15~20분 정도 소요됩니다.
처음에는 선임분의 제의로 퇴근길에 근처(사택까지 도보 5분거리)
태워주신다 하여 거절하면 안 되겠다는 생각에 받아드렸으나
계속 태워주셔서 저도 태워주는 것에 감사한 마음에
기프트콘이나 음료수 등 드리긴 했습니다.
저는 조용하고 말수가 거희 없는 편이라
퇴근길 대화는 일적인 대화로 진행되며,
그마저도 없으면 아무 말도 없습니다.
그래서 출근길 및 퇴근길에는 시간이 걸리더라도 
조용히 혼자 가고 싶은 성향인데
선임분의 호의를 거절 할 수 없어서 타고 다닙니다만
호의에 대한 불편함이 좀 있습니다.
그래서 최대한 선임분의 호의를 무시하지 않고
정중히 거절하는 방법이 있을까요?