投稿

PythonでPosgreSQLを操作する

イメージ
この記事のまとめ:PythonでPostgreSQLのデータベースにSQL文を流す。サンプルコード紹介。背景:Webスクレイピングで取得した結果のデータなどなどさまざまのデータ管理を行う上で、はじめはCSVファイルなんかで管理しようとしていたのですが、CSVだと限界を感じ始めたことをきっかけにPostgreSQLをデータベースとして使い始めたのですが、それを行うと必然的にプログラム上でPostgreSQLを操作できる必要が出てきますので調べた次第です。

Pythonでウェブスクレイピング

イメージ
この記事のまとめ:Pythonでウェブスクレイピング(ウェブクローリング)する上で基本的な処理として下記を紹介しています。Refequestsライブラリを使ったHTMLの取得方法Seleniumを使ったJavaScript対応ページのHTMLの取得方法robots.txtの確認方法Beautiful Soupを使ったHTML解析方法ウェブスクレイピングの利用例背景:仕事や趣味でウェブページから手早く取得するためにウェブスクレイピングをやってみようと思った次第で、意外と簡単にできたのでその作業をまとめております。

WindowsでのIBM Watson API用Python SDKのインストールエラー時の対処法

イメージ
この記事のまとめ:IBM Watoson APIを利用するためのPython SDKのインストールがWindowsで失敗したときの対策方法。背景:Watson APIをPythonで使うためにWindows 10のPCにWatson Developer Cloud Python SDKをpipでインストールしようとしたらエラーが出たので、その対処方法をまとめています。なお、Ubuntu 16.04のPCではエラーは発生しなかったです。

UbuntuでのSambaの設定

イメージ
この記事のまとめ:Ubuntu 16.04でのSambaを設定してWindows 10のPCからフォルダアクセスを行う方法。背景:単純に家にUbuntu 16.04が動くPCとWindows 10が動くPCがあるので間でのファイル共有を行うためにUbuntu PC側にSambaの設定をしたのですが意外とてこずったので備忘録として設定方法を残しておきます。

PostgreSQLのデータベースをWindows (SJIS)からUbuntu (UTF8)に移植する方法

イメージ
この記事のまとめ:Windowsで作成した文字コードがSJISのPostgreSQLのデータベースをUbuntuのUTF8のデータベースに移植した流れを記載しています。背景:当初、自宅にあるWindows PCでPostgreSQLを動かしていたのですが、どこの環境でもデータベースにアクセスできるようにした方が利便性が高かったので、Ubuntuが動くVPSに移植しようとしたところ、文字コードの問題にぶち当たってしまったのでとりあえず対処した作業手順を載せておきます。

PostgreSQL操作コマンド一覧

イメージ
この記事のまとめ:Ubuntu上でPostgreSQLサーバーを操作する際に多用するコマンドをまとめています。