WordPressなどのPHPコードを使ったファイルを編集するとき、テキストのみが扱え、UTF-8などの文字コードを選択して保存できるエディタを使用する必要があります。
Windowsのメモ帳でも可能ですが、エディタをを使用すると色分けなどができるなど便利ですので、そちらをおすすめします。
私が使っているのは秀丸ですが、有料（シェアウェア）ですので、以下に評価の高いフリーソフトをご紹介しておきます。
MKEditor
タブで切り替え可能なテキストエディタ。ファイルタイプごとに（拡張子ごとに）配色の変更ができる。
ルーラー・行数の配色変更や、強調表示、スキン変更、フォルダツリー表示によるファイル管理、GREP（全文）検索、置換・一括置換が可能。マクロ、自動インデント、自動バックアップ、複数文字コード対応などの機能を備えています。
TeraPad（テラパッド）
シンプルなSDIタイプ（1ウインドウ1ファイル）のテキストエディタです。行番号表示、ルーラー表示、画面分割、各種コード対応、TABインデント編集、検索・置換、アンドゥ・リドゥなど基本的な機能を備えています。
grep機能はありません。
EmEditor Free
Free版が無料で提供されています。多くの文字コードに対応し、ファイルの種類によってタグの色分け、指定範囲の大文字・小文字変換や全角・半角変換、HTMLタグ入力をサポートするHTMLツールバーが使用できます。Grep(全文検索)は有料版の機能となっています。
サクラエディタ
デフォルトの背景色が淡いピンク色のテキストエディタ。多くのプログラム形式に対応し、多彩なカラー表示、ツリー表示によるアウトライン解析、便利なGrep（全文検索）やキーボードマクロなど豊富な機能を備えており、プログラム開発者に人気があります。タブ形式でも利用できます。
・・・上記フリーの中ではMKEditorがよさそうですが、自分はやっぱり秀丸が一番と思います。
秀丸はこちら、体験版は無料なので試してみてはいかがでしょう。