Haji Papa's Bits & Bytes

Haji Papa's Bits & Bytes

An IT leader, business manager, and anime-loving dad of three, documenting my journey in tech, work, and language learning.

PandasユーザーのためのPolars入門 ― 合成データで体感するLazy実行・最適化・SQLサポート
IT

PandasユーザーのためのPolars入門 ― 合成データで体感するLazy実行・最適化・SQLサポート

近年、データ処理の高速化や大規模データ対応を目的として、Polars へ移行を検討するケースが増えています。 Polarsは単なる「速いPandas」ではありません。 設計思想そのものが異なり、クエリエンジン型のデータフレームライブラリといえます。 本記事では、Pandas経験者を対象に： * PandasとPolarsの設計思想の違い * Lazy実行と最適化の仕組み * Streamingによるメモリ効率 * SQLサポート * 実際に動かせるサンプルコード を、サンプルデータを作成し、そのデータを使って解説します。 外部データのダウンロードは不要です。 すべてこの記事内のコードだけで再現できます。 環境準備 python -m venv .venv source .venv/bin/activate pip install -U polars pandas pyarrow numpy デモ用データを生成する 今回は架空のEC購買ログを生成します。 * 実在企業・実在人物のデータは含みません * ランダム生成なので著作権の問題はありません
6 min read
【Polars】Parquet（パーケット）形式とは？
IT

【Polars】Parquet（パーケット）形式とは？

Parquet（Apache Parquet）は、 列指向（columnar）で保存されるデータファイル形式 です。 主にビッグデータ処理の世界で広く使われています。 * Apache Arrow系 * Spark * DuckDB * Polars * BigQuery * Snowflake など、多くのデータ基盤で採用されています。 CSVとの違い CSV（行指向） id,name,age 1,Alice,30 2,Bob,25 CSVは「行」単位で保存されています。 * 1行ずつ並んでいる * 人間が読める * シンプル * でも大規模処理には不向き Parquet（列指向） イメージ： id列: 1,2,3,4,... name列: Alice,Bob,... age列: 30,
1 min read
DockerとVS Codeで作るJava開発環境（JDK11）— ローカルを汚さずに学習・実行まで
IT

DockerとVS Codeで作るJava開発環境（JDK11）— ローカルを汚さずに学習・実行まで

Dockerで「ローカルを汚さない」Java開発をする Javaの学習やちょっとした検証を始めるとき、地味に困るのが開発環境です。 * PCにJDKを入れると、バージョン違いでハマる * 既存の開発環境と競合する * 別PCへ移したときに再構築が面倒 そこでおすすめなのが Dockerコンテナ内にJDKを用意して、VS Codeで編集するやり方です。 この方法なら「PC側はほぼ手を入れず」、コンテナを起動するだけで 同じJDK11環境をいつでも再現できます。 この記事では、VS Codeの Dev Containers を使って、JDK11（Temurin）でJavaをコンパイル・実行する最小構成を作ります。 ゴール * ローカルにJDKを入れずにJavaを実行できる * VS Codeで編集し、コンテナ内のJDK11で javac / java が使える * ディレクトリを丸ごとコピーしても同じ環境で動く 前提 * Docker（Docker Engine / Docker Desktop のどちらでもOK） * VS Code * VS Cod
3 min read
Kubernetes で Jakarta EE（Payara）業務システムを動かすときの考慮点と注意点
IT

Kubernetes で Jakarta EE（Payara）業務システムを動かすときの考慮点と注意点

近年、業務システムでも「コンテナ化して Kubernetes で可用性と運用性を上げたい」という要望が増えています。しかし、Jakarta EE（特に Payara Server）を単純にコンテナへ入れるだけでは、Kubernetes の恩恵を最大化できません。 この記事では、業務システムを Payara Server で構築している場合に Kubernetes 化する際、必ず押さえるべきポイントをまとめます。クラウド環境としては Oracle Cloud（OKE）を前提にしていますが、考え方自体はどのK8sにも共通します。 1. 「Payara Server をそのままクラスタリング」は原則しない GlassFish 系の標準的なクラスタリング（DAS を中心としたドメイン管理）は、**「ノードが固定される前提」**の設計です。一方 Kubernetes では Pod は“消えるもの”であり、再スケジュールされ、IP
3 min read
Kubernetes（K8s）の勉強方法
IT

Kubernetes（K8s）の勉強方法

KubernetesはGoogleが開発し、2014年にオープンソース化されました。 Kubernetes とは | Google CloudKubernetes（K8s）は、コンテナ化されたアプリをどこにでもデプロイ、スケール、管理できるオープンソースのシステムです。Google Cloud が Kubernetes を簡素化する仕組みをご覧ください。Google Cloud Kubernetesを勉強しようとすると、最初のハードルが意外と高いですよね。 そんな中、Google には Kubernetes を学習するための教育コンテンツとハンズオンラボが用意されています。 しかもラボ環境は 無料で利用可能。 「Kubernetes に興味はあるけれど、なかなか踏み出せなかった」という方にも、ぜひ挑戦していただきたい内容です。 クラウド環境に不慣れな方でも大丈夫です。 コンピュートインスタンスの作成、ストレージバケットの操作、IAM の設定、ファイアウォールの設定、Web サーバーの導入といった、Kubernetes を学ぶ前段階の基礎知識もしっかり学べるため、安心
2 min read
Stable Diffusion (AUTOMATIC1111)のパラメータをいろいろ変えて実験してみた
AI

Stable Diffusion (AUTOMATIC1111)のパラメータをいろいろ変えて実験してみた

CFG Scaleとは 以前、「【LoRA】少ないデータで、AIモデルをチューニングする」という記事で AUTOMATIC1111 を使用しましたが、パラメータについてはあまり触れていませんでした。 そこで今回は、Stable Diffusion で重要なパラメータのひとつである CFG Scale について解説していきたいと思います。 本当は Nova Anime XL のような最近のモデルを使いたかったのですが、 RTX 2070（8GB）では VRAM 不足で、まともに動かすことができませんでした (T_T) そのため、LoRA の記事でも使用した abyssorangemix33WhiteMildCat をモデルとして使っています。 なお、画像生成で使用したプロンプトは下記の通りです。 anime style, mature and graceful young woman with long brown hair, modern
4 min read
スマホからOCI経由で自宅サーバーにSSH接続（Agent Forward）
IT

スマホからOCI経由で自宅サーバーにSSH接続（Agent Forward）

1. 概要 前回、OCIと自宅サーバーをWireguard VPNで接続をしました。 GhostGhost 今回は、このWireguard VPNを通して、外出先でスマホからOCI経由で自宅サーバーにSSH接続をさせていきます。 ただし、OCI上に自宅サーバーの秘密鍵を置いておきたくはないので、スマホに自宅サーバーの秘密鍵を置きつつ、SSH Agent Forwardingを使ってSSH接続を試みます。 SSH Agent Forwardingを使うと下記のことが可能になります。 * 携帯の SSH クライアントが秘密鍵を保持（外に出さない） * OCI にログインしたあと、OCI 上の SSH クライアントから自宅へ接続する時も、 鍵の署名だけを携帯に問い合わせて実行する（鍵そのものは転送されない） * つまり OCI に秘密鍵を置かずに、自宅サーバーへ SSH が可能 2. 構成 * OCIと自宅サーバーの構成は、上記のブログ「IPv6のみのサーバーへIPv4からでもアクセスする方法」のとおりです。自宅サーバーは公開鍵認証でのアク
2 min read
IPv6のみのサーバーへIPv4からでもアクセスする方法（OCI経由）
IT

IPv6のみのサーバーへIPv4からでもアクセスする方法（OCI経由）

概要 自宅はドコモ光10Gbのインターネットを使用しているので、IPv6アドレスからしかアクセスできません。 これだと、自宅のサーバー上にNextcloudを稼働させていますが、非常に不便なのでオラクルクラウド経由でIPv4からでもアクセスできるように設定しました。 構成 IPv4網 → Oracle Cloud【nginx（リバースプロキシ）　→ WireGuard VPN】 → IPv6網 → 自宅サーバー【WireGuard VPN → Nextcloud】 WireGuard経由でのアクセスを採用した理由 * 速い（カーネル実装 / UDP ベース） * 設定がとてもシンプル * IPv4 ↔ IPv6 のブリッジングに強い * セキュリティが強固（最新暗号） * Oracle Linux 8 でも標準対応 私のOracle Clound では、下記の構成のインスタンスを使っています。 項目 内容 OS Oracle Linux 8.1 Shape VM.Standard.A1.Flex
5 min read
【SQL】3値論理（True/False/Unknown?）
IT

【SQL】3値論理（True/False/Unknown?）

SQLには、ture, false だけでなく、unknownを含む3つの真理値があります。 なぜ、unknownが含まれるかという理由については、リレーショナルデータベースにNULLが存在するからです。NULLは、そこに値がないことを意味する記号であり、値ではありません。 値ではないので、下記の条件式は比較ができず、すべてunknownとなります。 1 = NULL 1 <> NULL 1 > NULL 1 < NULL NULL = NULL ... 次に、true、false、unkownの力関係は下記のとおりです。 【ANDの場合】　false > unknown > true 【 ORの場合】　true > unknown > false したがって、真理表は下記のとおりになります。 ANDtureunknownfalse truetrueunknownfalse unknownunknownunknownfalse falsefalsefalsefalse
1 min read
【SQL】Dockerを使ったSQL学習環境の構築
IT

【SQL】Dockerを使ったSQL学習環境の構築

以前、MySQL(MariaDB)を使ったSQL学習用のサンプルデータベースの準備をご紹介しましたが、今回はDockerを使って、もっと手軽に前回の学習環境を準備してみたいと思います。 また、HeidiSQLのUbuntu版は日本語対応がいまいちだったので、学習しづらかったため、今回はphpMyAdminを導入してWebブラウザ上でSQLの学習ができるようにもしてみました。 1. 手順 大まかな手順は下記の通りです。 (1) mariadb-employees というカスタムイメージを作る (2) build 時に GitHub から employees.sql等の必要なファイルをダウンロードして、 MariaDB の/opt/employees-db に配置 (3) コンテナ初回起動時に シェルスクリプト が自動実行され、employees DB にサンプルデータが入る (4) phpMyAdmin から中身を触って学習できる 2️. ディレクトリ構成 まずは、専用ディレクトリを作ります： mkdir mariadb-employees cd
2 min read
【Python】Streamlitを使ってデータを簡単に可視化してみる
Programming

【Python】Streamlitを使ってデータを簡単に可視化してみる

１．概要 Streamlit は、Pythonで書かれたスクリプトをそのままインタラクティブなWebアプリとして表示できるオープンソースフレームワークです。 「データ分析をWebアプリ化したいけれど、HTMLやJavaScriptを書くのは面倒」というデータサイエンティストやエンジニアに最適です。 * 開発元：Streamlit Inc.（現在は Snowflake 社に買収済み） * 対象：データ分析・機械学習・可視化・社内ツールなど ２．特徴 項目説明簡単な記述普通のPythonスクリプトにst.write()などを追加するだけでアプリ化可能。即時反映コードを変更するとブラウザが自動で更新される（ホットリロード機能）。豊富なウィジェットスライダー・セレクトボックス・ファイルアップロードなどのUI要素が標準装備。データ可視化連携matplotlib、plotly、pandasなどのグラフをそのまま表示可能。軽量なサーバー内蔵FlaskやFastAPIなどの設定不要で、ローカルサーバーが自動で起動。デプロイ容易streamlit cloud や Docker、または任
6 min read
OpenAI Codexで簡単なWebアプリを作成してみる
AI

OpenAI Codexで簡単なWebアプリを作成してみる

概要 今回は ChatGPT5 Codex を使って、コードを書かずに Web アプリを作成してみたいと思います。 テーマは、娘が高校受験を控えているので、英単語クイズアプリにしました。 勉強に役立ててもらえたらうれしいです。 手順 (1) VSCodeに「Codex - OpenAI's coding agent」拡張をインストールします。 (2) Next.jsを使うことにしたので、環境を整えます。 $ nvm install --lts $ nvm use --lts Now using node v22.19.0 (npm v10.9.3) $ node -v v22.19.0 $ npm -v
4 min read
「（それらを）持っていく」を英語で言うと？ 〜 them over 【Langaku+】
English

「（それらを）持っていく」を英語で言うと？ 〜 them over 【Langaku+】

「（それらを）持っていく」を英語で言うと？ ・ ・ ・ ・ ・ "bring ... over" は、相手のいる場所に向かって、何かを持っていく／持ってくるという意味です。 bringには、話し手がいる場所に「持ってくる」という意味で、 overには、場所を超えて相手の場所にやってくるという方向性を加える語です。 したがって、話し手（少年）や聞き手が、その場にいることが前提となります。 「bring over」と「take over」の違い * bring over：話し手や聞き手がいる「こちら側」に持ってくる 例：I'll bring it over to your house.（君の家に持って行ってあげるね） * take over：話し手がいる場所以外の「どこか」に持って行く 例：
1 min read
【SQL】CASE式まとめ 01
IT

【SQL】CASE式まとめ 01

前提 * 「達人に学ぶSQL徹底指南書 第2版 ミック著 翔泳社」を自分用にまとめたものです。 * 使用するデータは、MySQL公式のemployeesのデータを使用しています。 【SQL】MySQL(MariaDB)を使ったSQL学習用のサンプルデータベースの準備 CASE式概要 * CASE式を使いこなせるかが、初級者と中級者の分かれ目 * CASE式はある列の値を別の値に読み替えているだけ * 他のSQLツール（集約関数等）と組み合わせることで威力を発揮する * やっかいなバグを防ぐために、ELSE句を必ず書く（ELSE句を省略するとELSE NULL扱いとなる） CASE式の演習 演習1：単純CASE式と検索CASE式 課題：employeesテーブルを使って下記のデータを表示してください。 * 表示データ * emp_no * first_name * last_name * gender Mは「Mail」、Fは「Femail」とCASE式を使って表示 解答：CASE
4 min read
【SQL】MySQL(MariaDB)を使ったSQL学習用のサンプルデータベースの準備
IT

【SQL】MySQL(MariaDB)を使ったSQL学習用のサンプルデータベースの準備

概要 SQLの学習に際して最初に困るのが、サンプルデータの準備ではないでしょうか。 ここでは、MySQLが公式で準備している「Employees」のサンプルデータベースの導入方法を取り上げます。 「Employees」は6つのテーブルからなり、合計約400万レコードにも及ぶ大きなサンプルです。 従業員、部署、部署所属履歴などを含み、実際の業務構造に近いデータを使って、大規模データの扱いや複雑なJOINの学習も行うことが可能です。 テーブル構造については、下記のサイトを参照してください。 https://www3.ntu.edu.sg/home/ehchua/programming/sql/SampleDatabases.html 導入手順 1. MariaDBの準備 $ sudo apt update $ sudo apt install mariadb-client mariadb-server -y 2. サンプルデータの入手 MySQL公式のGitHubからダウンロードします。 https://github.com/datacharme
2 min read
「（今すぐ）やります！」「任せて！」を英語で言うと？　 I'm 〜　【Langaku+】
English

「（今すぐ）やります！」「任せて！」を英語で言うと？　 I'm 〜　【Langaku+】

お母さんが香帆ちゃんにデリバリーを依頼して、それに香帆ちゃんが喜んで注文しているところです。 「了解〜（任せて）！」を英語で言うと？ ・ ・ ・ ・ ・ "I'm on it!" はネイティブがよく使う口語表現で、 「（今すぐ）やります！」「任せて！」という意味です。 直訳すると「私はそれの上にいる」ですが、比喩的に「その仕事に取り掛かっている／取り掛かる」というニュアンスです。 ■　I'm on it! を使った他のセリフ There's a problem with the server! I'm on it! （サーバーに問題がある！） （今すぐ対応する！） Can you send this email?
1 min read
「（獲物を）手放す」を英語で言うと？　〜 of　【Langaku+】
English

「（獲物を）手放す」を英語で言うと？　〜 of　【Langaku+】

香帆ちゃんがペンギンの歯を見て、驚いているところです。 「（獲物を）手放す」を英語で言うと？ ・ ・ ・ ・ ・ "let go of" は、 「～を放す」「～を手放す」という意味です。 この場合は "never let go of its prey" なので、 「獲物を決して放さない」という意味になります。 ※ prey: 獲物 ■　let go of を使った他のセリフ Never let go of your dreams.（夢を絶対に諦めるな） You need to let go of the past and move on.
1 min read
ChatGPTのエージェントだけでWebアプリを作成する
IT

ChatGPTのエージェントだけでWebアプリを作成する

数日前に、私の環境でもChatGPTのエージェントが使えるようになったので、早速試してみました。 エージェントへの切り替え ChatGPTのテキスト入力欄の［ツール］から「エージェントモード」を選択します。 今回は「情報源」として「ウェブ検索」を選択しました。 プロンプト プロンプトには、下記を入力して実行してみます。 Ubuntu24.04上で下記の要件のアプリケーションを作成したい。 - Git Hub上にあるDockerイメージを利用 - ITセキュリティに関連する書籍の情報を入力・更新・削除できるWebアプリケーションを作成 - プログラミング言語はPythonを使用 - Pythonとデータベースとのやり取りはORMを使用 - フレームワークを使用してもよい。 応答 約4分後に下記が出力されました。 承知しました。Ubuntu 24.04環境で、GitHub上のDockerイメージを利用し、ITセキュリティ関連書籍をCRUD操作できるPython Webアプリケーションを構築します。ORMを使用してデータベースとのやり取り
5 min read
【MCP】Ollama+Open WebUI+MCPO環境でMCPを試す
IT

【MCP】Ollama+Open WebUI+MCPO環境でMCPを試す

1. はじめに 最近のニュースで、MCPに関する記事が増えてきました。 MCPというと、私はMicrosoft Certified Professional のことだと思ってしまいます ^^; が、 ここでのMCPは、Module Context Protocolの略で、LLMが「外部のツール」と安全・柔軟につながるための標準プロトコルのことを指します。 2. MCPの利用例 たとえば、LLMに次のような依頼をしたとします。 「このページの内容を読んで要約して」 普通のLLMはWebにアクセスできないので何もできませんが、MCP対応のモデルなら * 「fetch」ツールを呼び出してWebページを取得 * その結果を元にLLMが要約 というように、ツールを"使って"推論できるようになります。 3. MCPの登場背景 もともとOpenAIやAnthropic、Googleなどは「Tool Use」という仕組みを独自に実装していました。 でも、それぞれやり方
4 min read
【セキュリティ】パスキー（passkey）について
IT

【セキュリティ】パスキー（passkey）について

最近、Googleから「パスワードではなくパスキー（passkey）を利用してください」というメッセージが届きました。 パスキーは近年注目を集めている認証技術の一つです。そこで今回は、パスキーはパスワードと何が違うのか？ そして、どのような仕組みで安全性を実現しているのか？について、分かりやすく解説します。 ■ 概要 パスキー（passkey）は、FIDO2標準に基づいた新しいパスワードレス認証方式です。GoogleやApple、Microsoftなどが推進しており、ユーザーがパスワードを覚えずに安全にログインできる仕組みです。 FIDO2標準について FIDO2（ファイド・ツー）標準とは、パスワードの代わりに、より安全で簡単なログイン方法を提供するための国際的な標準です。 FIDO2を構成する技術 技術名 内容 WebAuthn ブラウザやWebサイトがFIDO認証を使うための「仕組み」 CTAP（シータップ） パソコンやスマホがセキュリティキーなどの「認証デバイス」とやりとりするための規格 FIDO2の利用方法 * F
2 min read
【Python】デコレータ（Decorator）って何だろう？
Programming

【Python】デコレータ（Decorator）って何だろう？

■ 概要 デコレータは、前回の記事で取り上げたクロージャーの応用形です。 関数に機能を追加するための「関数」のことで、元の関数には手を加えずに、前後に処理を追加したり、ログを取ったりできます。 Pythonでは、@記法 を使って簡潔にデコレータを適用できます。 まずは、デコレータの前に高階関数を取り上げます。 ■ 高階関数 高階関数とは？ 高階関数は、「関数を引数に取る」または「関数を返す」関数のことを言います。 Pythonは関数もオブジェクトなので、変数と同様に渡したり返したりできます。 高階関数には、下記のいずれか、または両方の特徴を満たします。 条件 例 関数を引数に取る map(), filter(), sorted(..., key=...) 関数を返す クロージャー、デコレータなど 高階関数の具体例1：関数を引数に取る関数 def shout(text): return text.upper() def whisper(text): return text.lower(
3 min read
【Python】クロージャーって何だろう？
Programming

【Python】クロージャーって何だろう？

■ 概要 クロージャーとは、関数の中で定義された関数が、外側の関数の変数を「記憶」して使う仕組みで、デコレータやコールバック関数の基礎として重要です。 ■ 具体例1 def make_multiplier(factor): def multiplier(x): return x * factor return multiplier times3 = make_multiplier(3) times5 = make_multiplier(5) print(times3(10)) # 30 print(times5(10)) # 50 ■ 解説 * make_multiplier関数の中で、multiplier関数を定義し、それをreturnで返しています。 * multiplier関数は、factorという外側の変数を使っています。 * factorはmake_multiplier関数の実行時に値が決定し、その値を覚えたままmultiplier関数が実行されています。つまり、times3は、make_multiplie
1 min read
【Python】非同期処理（asyncio, aiohttp）を理解する
Programming

【Python】非同期処理（asyncio, aiohttp）を理解する

1. Pythonの非同期処理とは Pythonの非同期処理とは、時間のかかる処理を待っている間に、他の処理を先に進めるプログラミングの方法です。待ち時間がある処理を効率よく進めるときに特に効果を発揮します。 たとえば、次のような場合に、非同期処理を使うと効果を発揮します。 (1) Web APIの並列呼び出し 例：天気情報APIや路線情報API等に同時にリクエストを送りたいとき。 ・APIの応答を待っている間は、CPUをほとんど使わないので、他のリクエスト処理ができる。 ・非同期でリクエストするときは、requestsの代わりにaiohttpを使う。 (2) チャットアプリやWebSocket通信（リアルタイム処理） 例：Webチャット、オンラインゲームなどで、常時接続しながらメッセージの送受信を行う。 ・接続は維持しつつ、メッセージが来るのを「待つ」必要があり、同期処理だと待っている間、他のことができなくなる。 (3) ファイルやデータベースへの非同期アクセス 例：数千件のログファイルを読み込みながら、バックグラウンドで解析・保存する。
4 min read
【Oracle Linux】GhostのDockerへの移行
IT

【Oracle Linux】GhostのDockerへの移行

■概要 Ghostをアップデートしたところ、Oracle Linux 8に入っている画像処理のライブラリが、Armベースに対応していないとエラー表示されてしまいました。 そこで、DockerhubにARM対応のGhostイメージがあったので、そちらに移行することにしました。 ■環境 Armベースのインスタンス Oracle Linux 8 nginx MariaDB ■作業手順 1. 現在のGhostのバックアップ Ubuntu環境ではないため、ghost backupが正常に終了しないので、手動でバックアップします。 # （$…の部分は自分の環境に合わせてください） # DBのバックアップ $ mysqldump -u "$DB_USER" -p"$DB_PASSWORD" "$DB_NAME" > "$BACKUP_DIR/db-$DATE.sql" # Ghostのコンテンツフォルダ（/var/
2 min read