จังหวัดคาโงชิมะตั้งอยู่ทางตะวันตกเฉียงใต้ของเกาะคีวชู โดยมีพื้นที่อยู่บนคาบสมุทรสองคาบสมุทร ได้แก่คาบสมุทรซัตสึมะและคาบสมุทรโอซูมิ และมีอ่าวคาโงชิมะตั้งอยู่ระหว่างคาบสมุทรทั้งสอง ทิศเหนือของจังหวัดติดต่อกับจังหวัดคูมาโมโตะ ทิศตะวันออกของจังหวัดติดต่อกับจังหวัดมิยาซากิ ส่วนทิศใต้และทิศตะวันตกติดต่อกับทะเลจีนตะวันออก
นอกจากนี้เขตการปกครองของจังหวัดคาโงชิมะยังครอบคลุมหมู่เกาะนอกชายฝั่งของเกาะคีวชูด้วย ซึ่งบางส่วนของเกาะเหล่านี้อยู่ในการปกครองของกิ่งจังหวัดสองกิ่งจังหวัดได้แก่กิ่งจังหวัดโอชิมะและกิ่งจังหวัดคูมาเงะ
