毎度必要な時に調べるのが面倒なので、備忘投稿です。
私はEmacs派なのですが、Linux系OSにおいて最初からインストールされていることはまずないので、
CentOSなどのOSをインストールするたび(もしくはVMを構築するたび)に
yum install emacs
と、Emacsをインストールしています。
そして、CentOSなどのコマンドラインと同じように
「Ctrl-h」をBackspaceとして使いたいので、以下コマンドを実行します。
# echo "(global-set-key \"\C-h\" \`delete-backward-char)" > ~/.emacs
要するにログイン直下のパス(~/)に「.emacs」が存在し、以下の記述があればOKです。
(global-set-key "\C-h" `delete-backward-char)