WordPressでは、管理画面からプラグインインストールを行うことができます。管理者権限でログインし、「プラグイン」「新規追加」を選択してください。(注:以下の画像キャプチャーはWP英語版の画面です。日本語版とはメニュー表記、メッセージ等が異なります。)
wpmathpubという、ウェブ数式表示プラグインをインストールします。PHPのGDライブラリが必要です。

画面中央の検索ボックスで「wpmathpub」と入力する。
検索候補として2種類表示されるが、ここではwpmathpubを選択する。(星の数が多いという理由でこちらにしました。)
「このプラグインは、WordPress2.7で動作が保証されていません。」という警告メッセージが表示されますが、インストールしても問題ないようです。
最後に、プラグインの有効化をクリックします。
ブログ記事中に数式を書く方法は次回紹介します。

※追記※ レンタルサーバーによっては、プラグインフォルダ内のimgのパーミッション(書き込み権限)を変更する必要があります。サーバー会社のマニュアルやFAQ等で確認して、デフォルト値755から、707あるいは777に変更してください。