겸효대는 고려후기 문신 김겸효가 지낸 곳이다. 『동국여지승람』(1513)에는 “겸효대는 동래현(東萊縣) 남쪽 5리에 있다 하고 선인인 김겸효(金謙孝)가 노닐 던 바 있어 그리 이름하였다”라고 하였다. 또한 『동래부지(1740년) 산천조에는 "척산을 배산(盃山)이라고도 한다. 동래부의 남쪽 5리에 있는데 위에 겸효대가 있다"라고 하였다. 또한 『동래부읍지(1832)에는 “동래부의 남쪽 5리에 있고 황령산에서 이어진 곳에 겸효대가 있다”라고 하였다. 겸효대의 아름다운 경치를 노래한 시(詩)가 『동래부지』, 『동국여지승람』 등에 전해지고 있다.
겸효대가 널리 알려지게 된 것은 고려 때 좌사대부 정추가 1366년(공민왕 15) 이존오와 함께 신돈을 탄핵했다가 살해될 뻔 했으나, 이색의 도움으로 죽음을 면하고 동래현령으로 좌천되어 부임하면서 부터이다. 동래현령이었던 정추는 선인이라 일컬어진 김겸효와는 친한 사이였던 것 같다. 그는 동래현령으로 있으면서 배산 위에서 신선처럼 사는 김겸효를 자주 만나 가슴 터 놓는 교우가 있었던 것으로 보인다. 당시 겸효대 주변은 아름다운 절경과 이곳에서 확 트인 해운대 앞바다를 바라다보는 경관에 시인·묵객들이 유상처로 많이 찾았던 것 같다. 겸효대가 있었던 위치가 지금은 막연하게 배산 위라고 했으나, 실제로 가능한 곳은 여러 곳으로 보인다.
겸효대가 있었던 주변에는 삼한시대 옛 지명인 거칠산국의 유적으로 추정되는 배산성지가 있다. 성은 배산의 허리 부분과 정상에 각각 성을 쌓은 쌍가락지 모양의 이중성(二重城)으로서 토성이다. 현재는 토성의 기초 부분만 남아 있을 뿐이다. 최근에는 배산 동남쪽 끝자락인 옛 부산국군통합병원 자리에서 신라시대 동래군(東萊郡)의 치소(治所)였던 고읍성터 유적의 발굴로 주변지역을 공원으로 조성하여 시민휴식공간으로 활용하고 있다.