データサイエンス

統計学とAIの仕組みを、数式・図解・具体例から学ぶ。145件

記事一覧

AI

生成AIを使う前に知っておきたい課題

生成AIの課題をG検定向けに解説。ハルシネーション、バイアス、著作権法30条の4、個人情報、ディープフェイク、AIガバナンスを整理します。

記事を読む →
AI

音声処理とモデルの軽量化・エッジAI|音素からWaveNetまで

音声処理の流れとモデルの軽量化をG検定向けに解説。音素・メル尺度・WaveNet、蒸留・量子化・プルーニングとエッジAIを整理します。

記事を読む →
AI

深層強化学習とAlphaGo|DQNから自己対戦AIまで

深層強化学習をG検定向けに解説。DQNの経験再生とターゲットネットワーク、AlphaGoとモンテカルロ木探索、産業応用の課題を整理します。

記事を読む →
AI

AIの判断根拠を説明する|説明可能AI(XAI)

説明可能AI(XAI)をG検定向けに解説。ブラックボックス問題、LIMEやSHAP、CAM・Grad-CAMによる可視化、敵対的攻撃までを整理します。

記事を読む →
AI

ChatGPTはどう作られたか|RLHFと基盤モデル

ChatGPTの作られ方をG検定向けに解説。RLHFと報酬モデル、zero-shot、基盤モデル、マルチモーダルを整理します。

記事を読む →
AI

大規模言語モデル(LLM)とは|BERTとGPT

LLMをG検定向けに解説。BERTのMLM・NSP、GPTの次単語予測、スケーリング則とfew-shotを整理します。

記事を読む →
AI

拡散モデルとは|画像生成AIの主流になった仕組み

拡散モデルをG検定向けに解説。ノイズの付加と除去、デノイジング、Stable Diffusionと潜在空間の関係を整理します。

記事を読む →
AI

GANとは?画像生成の仕組みとVAEとの違い・ディープフェイクとの関係

GANの生成器と識別器が競う仕組みを解説。VAEとの発想の違い、DCGAN・Pix2Pix・CycleGAN、ディープフェイクとの関係を整理します。

記事を読む →
AI

オートエンコーダとVAE|生成AIの入口

オートエンコーダとVAEをG検定向けに解説。次元圧縮や異常検知、潜在変数とKLダイバージェンスの役割を整理します。

記事を読む →
AI

Transformerとは|生成AIの土台になった仕組み

TransformerをG検定向けに解説。Positional EncodingやMulti-Head Attention、並列化の利点を整理します。

記事を読む →
AI

Seq2SeqとAttention|翻訳AIの転換点

エンコーダ・デコーダ、Seq2Seq、Attention機構、Self-Attentionの仕組みをG検定向けにやさしく整理します。

記事を読む →
AI

自然言語処理の基礎|言葉を数値にする

形態素解析・Bag of Words・TF-IDF・分散表現・word2vec・エンベディング層をG検定向けにやさしく整理します。

記事を読む →
AI

LSTMとGRUの違い|CECとゲートの役割をG検定向けに解説

LSTMのCECが誤差を保つ仕組みと、3つのゲートの役割を解説。GRUがCECをなくしゲートを2つにした違いと、双方向RNNも整理します。

記事を読む →
AI

RNNの仕組みと限界|時系列データとBPTT

時系列データ・回帰結合層・シンプルRNN・BPTT・勾配消失をG検定向けにやさしく整理します。

記事を読む →
AI

物体検出・セグメンテーション・姿勢推定

画像分類との違いから、物体検出のFaster R-CNNとIoU、セグメンテーションの3種類、姿勢推定までG検定向けに解説します。

記事を読む →
AI

転移学習とファインチューニングの違い

学習済みモデルを再利用する転移学習とファインチューニングの違いと使い分け、データ拡張や負の転移までG検定向けに解説します。

記事を読む →
AI

画像認識モデルの進化|AlexNetからEfficientNetまで

AlexNet・VGG・GoogLeNet・ResNet・MobileNet・EfficientNetの特徴と進化の流れをG検定向けに解説します。

記事を読む →
AI

CNNの仕組み|畳み込みとプーリング

畳み込み層・フィルタ・特徴マップ・パディング・ストライド・プーリング層の役割をG検定向けにやさしく解説します。

記事を読む →
AI

なぜ今ディープラーニングなのか|GPUとデータ量

ディープラーニングが2010年代に実用化した理由を、歴史・GPU・データ量の観点からG検定向けに解説します。

記事を読む →
AI

ディープラーニングの過学習対策|ドロップアウトと正則化

ドロップアウト・バッチ正規化・重み減衰・早期終了など、ディープラーニング特有の過学習対策をG検定向けにやさしく解説します。

記事を読む →
AI

学習をうまく進めるための工夫

勾配消失問題やプラトー、SGDからAdamまでの最適化手法、バッチサイズとエポック数の関係をG検定向けに解説します。

記事を読む →
AI

ニューラルネットワークはどう学習するのか

ニューラルネットワークの学習の仕組みをG検定向けに解説。順伝播と逆伝播、誤差関数の使い分け、誤差逆伝播法、勾配降下法と学習率、局所最適解までを整理します。

記事を読む →
AI

活性化関数とは|ネットワークに非線形性を与える

活性化関数の役割をG検定向けに解説。非線形性が必要な理由、ステップ関数からReLUへの変遷、回帰・二値分類・多クラス分類で変わる出力層の使い分けを整理します。

記事を読む →
AI

ニューラルネットワークの構造

ニューラルネットワークの構造をG検定向けに解説。重みとバイアス、単純パーセプトロンのXOR問題、入力層・中間層・出力層、全結合層と順伝播を整理します。

記事を読む →
AI

モデルの評価と過学習|精度を正しく測る

訓練・検証・テストデータの分割、過学習と正則化、混同行列や適合率・再現率といった評価指標をG検定向けに整理。データリーケージの注意点も解説します。

記事を読む →
AI

強化学習の基本|報酬から学ぶAI

強化学習の基本をG検定向けに解説。エージェントと環境のループ、探索と活用のトレードオフ、マルコフ性と割引率、価値関数とQ学習・方策勾配法の違いを整理します。

記事を読む →
AI

ディープラーニング入門ロードマップ|基礎から生成AIまでの学び方

ディープラーニングを学ぶ順番をロードマップで解説。AIの歴史から機械学習、CNN、Transformer、生成AIまでG検定レベルで体系的に整理します。

記事を読む →
AI

機械学習の3つの学習方法|教師あり・教師なし・強化学習

機械学習の教師あり学習・教師なし学習・強化学習の違いを表で整理。説明変数と目的変数、特徴量設計、ディープラーニングが特徴表現学習と呼ばれる理由を解説します。

記事を読む →
AI

教師なし学習の代表的な手法

教師なし学習の代表手法をG検定向けに整理。クラスタリングとk-means、主成分分析による次元削減、協調フィルタリングのコールドスタート問題を解説します。

記事を読む →
AI

教師あり学習の代表的な手法

線形回帰・ロジスティック回帰・決定木・ランダムフォレスト・SVMなど教師あり学習の代表手法を、回帰と分類の違いから一覧表で整理します。

記事を読む →
AI

AI・機械学習・ディープラーニングの違い

AI・機械学習・ディープラーニングの包含関係を整理。人工知能の4つのレベル、AI効果、ロボットとの違いなどG検定頻出ポイントを解説します。

記事を読む →
AI

AIの歴史と3度のブーム

AIの歴史を3度のブームで整理。ENIACとダートマス会議から、第1次・第2次AIブームの終焉理由、第3次の機械学習まで、G検定で問われる要点を解説します。

記事を読む →
AI

AIが越えられなかった壁|フレーム問題・シンボルグラウンディング問題

フレーム問題・中国語の部屋・シンボルグラウンディング問題など、AI分野の難問をG検定レベルで一覧整理し、頻出ポイントを解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問14【解答例・解説】

回帰診断図がテーマ。残差プロット・Normal Q-Q・Scale-Location・Residuals vs Leverageの読み方と、対数変換モデルの比較・箱ひげ図による残差比較を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問13【解答例・解説】

階層的クラスタリング・k-means法がテーマ。デンドログラムと最近隣法・最遠隣法の対応、k-means収束過程を解説。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問12【解答例・解説】

ブートストラップ法がテーマ。ブートストラップ標本の平均を使った確率計算と、パーセンタイル法による信頼区間の構成を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問11【解答例・解説】

マルコフ連鎖の推移確率行列・最尤推定・定常分布がテーマ。傘の本数を状態とするマルコフ連鎖の遷移行列導出・尤度最大化・定常確率の計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問10【解答例・解説】

分割表の独立性検定と超幾何分布がテーマ。期待度数の計算・カイ二乗統計量の判定・超幾何分布の確率関数を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問9【解答例・解説】

有限母集団修正と標本平均の分散がテーマ。非復元単純無作為抽出における分散の性質と、有限・無限母集団で分散を比較する計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問8【解答例・解説】

自己相関・ダービン・ワトソン統計量・Cochrane-Orcutt変換がテーマ。残差の標本自己相関係数の算出、DW統計量の近似、AR(1)変換後の回帰係数の推定を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問7【解答例・解説】

一元配置・二元配置分散分析の比較がテーマ。ブロック効果を取り除く二元配置の利点と残差平方和・残差分散・F値の変化を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問6【解答例・解説】

母比率の信頼区間と同一標本内の比率差の分散がテーマ。正規近似による95%信頼区間の計算手順と、排反な2割合の差の標準誤差を多項分布の共分散公式で求める方法を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問5【解答例・解説】

2変量正規分布の条件付き期待値・標準化・線形結合の分散計算がテーマ。兄弟の身長を例に方針・計算・答えの3ステップで解説。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問4|サンドイッチの厚さの分散【解答例・解説】

確率変数の分散と独立性がテーマ。2種類のサンドイッチ製造方法における厚さの分散を、独立性の扱いの違いに着目しながら、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問3【解答例・解説】

交差検証・正則化(L1/L2)がテーマ。モデル選択手法としての交差検証法と、L1・L2正則化の性質の違い(スパース性の有無)を、方針・考え方・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問2【解答例・解説】

余事象と対数近似がテーマ。感染確率 p のウイルスをβ以上の確率で検出するのに必要な検体数 n を、余事象の考え方と log(1-p)≈-p の近似を使って求める過程を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 選択問題及び部分記述問題 問1【解答例・解説】

各種平均(調和平均・加重平均・幾何平均)がテーマ。速さの往復平均・売上の加重平均・年平均成長率の3問を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問14【解答例・解説】

線形判別分析(LDA)とSVMがテーマ。判別手法の特定・誤判別率の計算・交差検証法の説明・ボロノイ図による判別領域の描き方を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問13【解答例・解説】

層化抽出法のネイマン配分と共分散分析モデルの比較がテーマ。不偏推定量の期待値確認・分散最小となる配分方法の特定と、ダミー変数モデルの解釈・収穫量予測値の計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問12【解答例・解説】

混合正規分布とEMアルゴリズムがテーマ。混合分布の形状判別とEMアルゴリズムのE-step・M-stepの更新式を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問11【解答例・解説】

マルコフ連鎖と推移確率行列がテーマ。サイコロで動く2状態の確率過程における位置の推移・推移確率行列の特定・定常分布の計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問10【解答例・解説】

全確率の定理とベイズの定理がテーマ。テキスト分類モデルを舞台に、周辺確率と条件付き確率の比を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問9【解答例・解説】

二元配置分散分析のプーリングがテーマ。交互作用が有意でない場合に残差へ統合する操作と、プーリング後の最適条件の推定を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問8【解答例・解説】

指数分布の確率密度関数・平均・中央値がテーマ。生存関数から密度関数を導き、部分積分で平均・中央値を求め、標本平均からモーメント推定する3小問を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問7【解答例・解説】

フィッシャーの3原則がテーマ。反復・無作為化・局所管理の定義と目的を正確に理解し、各選択肢の正誤を方針・判断・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問6【解答例・解説】

自由度調整済み決定係数とダービン・ワトソン統計量がテーマ。重回帰の自由度補正と残差の自己相関を読み取る2小問を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問5【解答例・解説】

母比率の検定と検出力がテーマ。標本比率の正規近似を使った棄却域の決定と、対立仮説が真のときの検出力の計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問4【解答例・解説】

カイ二乗分布とF分布を使った分散の推定・検定がテーマ。母分散の信頼区間の導出と、2標本の等分散検定の判定手順を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問3【解答例・解説】

カイ二乗適合度検定がテーマ。曜日別の問い合わせ回数データを用いて、期待度数・検定統計量の計算から棄却判定までを、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問2【解答例・解説】

離散確率分布の決定と分散・最大値の確率がテーマ。条件から確率分布を一意に定め、分散と2回試行における最大値の確率を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 選択問題及び部分記述問題 問1【解答例・解説】

変動係数がテーマ。飼育前後の体重データをもとに変動係数の計算・活用方法を、方針・計算・答えの3ステップで解説します。標準偏差を平均で割る相対的な散らばりの指標を正確に使いこなす練習に最適です。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問13【解答例・解説】

メトロポリス・ヘイスティングス法と混合正規分布がテーマ。採択確率の導出・ステップ幅と混合特性の関係・バーンイン期間の意義を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問12【解答例・解説】

時系列データの自己相関とSTL分解がテーマ。現金給与総額の時系列に現れる季節周期をコレログラムで読み取る方法と、STL分解の各成分グラフの解釈を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問11【解答例・解説】

因子分析・バリマックス回転がテーマ。共通性と因子負荷量の関係・回転の目的・因子得点散布図の読み取りを、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問10【解答例・解説】

正則化回帰(Lasso・Ridge・Elastic Net)がテーマ。スパース性と解パスのグラフから各手法を見分け、Elastic Netのパラメータ \(\alpha\) を特定する問題を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問9【解答例・解説】

カイ二乗検定・クラメールの連関係数・対応分析(バイプロット)がテーマ。統計検定準1級2018年6月問9の解答例と解説。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問8【解答例・解説】

AR(1)モデルの自己相関・偏自己相関・定常分散・標本平均の精度がテーマ。ACF/PACFの特徴の見分け方から分散の導出・自己相関が推定精度に与える影響まで、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問7【解答例・解説】

階層的クラスター分析・主成分分析がテーマ。ウォード法の距離定義・デンドログラムの読み取り・主成分負荷量マップの選択を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問6【解答例・解説】

偏差値と混合正規分布がテーマ。異なる集団での偏差値計算・混合分布のグラフ選択・合格率の加重平均を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問5【解答例・解説】

ウィルコクソンの順位和検定がテーマ。2群の血圧データに対して順位和の計算・無作為化分布の構成・検出力を高める最小標本サイズの求め方を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問4【解答例・解説】

モザイクプロットと2標本の母比率の差の検定がテーマ。クロス集計表から正しいモザイクプロットを選ぶ問題と、プールされた比率を使った検定統計量の導出を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問3【解答例・解説】

サポートベクトルマシン(SVM)と線形判別分析がテーマ。多項式カーネルの最小次数の求め方と、境界から遠いデータ除去の影響の違いを、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問2【解答例・解説】

非復元抽出における期待値・分散・共分散の計算がテーマ。ベルヌーイ型の指示変数を使い、標本平均の分散を方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 選択問題及び部分記述問題 問1【解答例・解説】

ベイズの定理・条件付き確率がテーマ。2段階検査で「2回とも陽性」となったときの真陽性率(本当に感染している確率)を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問12【解答例・解説】

AR(2)モデルの定常条件とMA(2)モデルの自己相関がテーマ。特性方程式の根の絶対値を評価してパラメータ範囲を求め、コレログラムのカットオフからMA次数を特定する方法を3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問11【解答例・解説】

マルコフ連鎖の推移確率行列がテーマ。最尤推定による推移確率の算出と、行列の対角化を用いたn期後の推移確率の導出を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問10【解答例・解説】

ロジスティック回帰・ベルヌーイ分布がテーマ。2値データの確率分布の特定からロジットモデルの式、破損確率50%となる気温の計算、事故当日の破損確率推定を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問9【解答例・解説】

ブラウン運動・ボラティリティ推定・相関係数がテーマ。為替レートのブラウン運動モデルにおいて、モーメント法でσを推定し、2通貨ペア間の相関係数を計算する問題を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問8【解答例・解説】

Fused Lasso・L1トレンドフィルタリングがテーマ。階差ペナルティの次数と推定結果の形状(階段状・折れ線状)の関係を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問7【解答例・解説】

ベイズ推定(正規分布の共役事前分布)がテーマ。事後分布のパラメータ導出・グラフ選択・共役事前分布の性質を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問6【解答例・解説】

主成分分析・AICがテーマ。累積寄与率の計算、バイプロットの読み取り、AICによるモデル選択、PCAの性質を方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問5【解答例・解説】

症例対照研究・オッズ比がテーマ。喫煙と心筋梗塞の関連を調べるケース・コントロール研究でオッズ比を計算し、相対リスクとの関係を読み解く問題を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問4【解答例・解説】

独立性の検定(カイ二乗検定)がテーマ。2×2分割表の期待度数の計算・カイ二乗統計量の算出・p値と有意水準の比較を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問3【解答例・解説】

仮説検定・検出力・サンプルサイズ設計・二項分布の応用がテーマ。比率の検定統計量の計算から必要サンプルサイズの導出まで、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問2【解答例・解説】

クーポンコレクター問題(幾何分布の期待値)がテーマ。カード種類数を変えた2つの状況で全種類を揃えるまでの購入回数の期待値と差を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 選択問題及び部分記述問題 問1【解答例・解説】

ポアソン分布の再生性と条件付き分布がテーマ。独立なポアソン分布の和の分布・平均・分散と、合計を固定したときの条件付き二項分布を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問12【解答例・解説】

ピアソン相関係数の検定がテーマ。t分布を用いた棄却限界値の導出と、偏差平方和・積和から相関係数を計算して検定統計量Tを求める手順を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問11【解答例・解説】

主成分分析・自己符号化器・SGDがテーマ。主成分得点から散布図を判別する問題と、エンコーダ/デコーダの用語確認、SGDのパラメータ更新規則を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問10【解答例・解説】

MA(1)・AR(1)・AR(2)の時系列がテーマ。コレログラムとスペクトル密度の導出、長期分散の計算、ユール−ウォーカー方程式によるAR(2)のパラメータ推定を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問9【解答例・解説】

探索的因子分析・スクリープロット・逆転項目がテーマ。回答パターンの違いによる因子構造の判別、逆転項目の特定、併合データの相関の方向性を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問8【解答例・解説】

2標本検定の仮説設定・必要症例数・検出力がテーマ。片側t検定の帰無仮説と対立仮説の設定、症例数計算式の理解、実際の計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問7【解答例・解説】

モデル選択(AIC・BIC・交差検証)がテーマ。正規回帰の密度関数の表現、AICとCVによるモデル選択、BIC/AIC/CVの特性比較を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問6【解答例・解説】

線形判別分析(Fisherの判別分析)がテーマ。群内・群間分散共分散行列の関係S=Sw+Sbの確認と、Sw⁻¹Sbの固有ベクトルから判別方向を求める手順を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問5【解答例・解説】

統計検定準1級2021年6月問5(OLS・GLS・決定係数)の解答例。不均一分散下でのBLUE判定とR²の大小関係を計算式で解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問4【解答例・解説】

原点通過の線形回帰・最小二乗法・F検定がテーマ。最小二乗推定量と残差分散の計算、ガウス−マルコフ定理のBLUE確認、F統計量の棄却域を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問3【解答例・解説】

多変量正規分布の線形変換と条件付き分布がテーマ。(X+Y, Y-Z)の分布の導出と、Z|X=x,Y=yの条件付き正規分布をブロック行列の公式で求める手順を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問2【解答例・解説】

指数分布の期待値・分散の導出、最尤推定量の計算、デルタ法による漸近分散の導出を扱う問題。部分積分・対数尤度・デルタ法の公式を方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 選択問題及び部分記述問題 問1【解答例・解説】

条件付き確率・確率の加法定理がテーマ。P(A|B)が与えられた状況でP(B)を求める問題と、3事象の包除原理によるP(A∪B∪C)の計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 論述問題 問3【解答例・解説】

対数線形モデルと条件付き独立性がテーマ。4因子の分割表に対してモデルの自由度・期待度数・適合度検定・グラフ表現を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 論述問題 問2【解答例・解説】

多項式回帰とAICによるモデル選択がテーマ。直交多項式を用いた単回帰・重回帰の最小二乗推定と残差平方和の比較、AIC基準によるモデル選択を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 論述問題 問3【解答例・解説】

2水準直交実験の一部実施計画がテーマ。\(2^{4-1}\) 一部実施計画における交絡構造の特定・分散分析・最適条件の選定・\(2^{5-2}\) 計画の構成を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 論述問題 問2【解答例・解説】

ポアソン過程と誤植発見率の推定がテーマ。稀な事象の独立性の確認・累積発生数グラフの傾きからの強度推定・間引きポアソン過程を用いた全期待値の法則による発見率推定を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2017年6月 論述問題 問1【解答例・解説】

主成分分析がテーマ。相関係数の計算・主成分の解釈・第1固有値の信頼区間・AICによるモデル選択を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 論述問題 問3【解答例・解説】

乱塊法(二元配置+ブロック因子)がテーマ。構造式の設定・ブロック化の利点・分散分析表の計算・最適水準の推定を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 論述問題 問2【解答例・解説】

プロビット・モデルとトービット・モデルがテーマ。積雪確率の推定・限界効果の計算・尤度関数の構成・AICによるモデル選択を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2018年6月 論述問題 問1【解答例・解説】

構造方程式モデル・偏相関係数・操作変数法がテーマ。パス係数の推定から欠落変数バイアスの定量化、操作変数による因果効果の識別まで、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 論述問題 問3【解答例・解説】

二次判別分析(QDA)とSVMがテーマ。正規分布を仮定した判別境界の導出から、多項式カーネルSVMとの比較・手法選択の根拠まで、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 論述問題 問2【解答例・解説】

ガウス型グラフィカルモデル・精度行列・分解可能モデルがテーマ。精度行列のゼロ要素と条件付き独立性の関係、変数追加時のグラフ構造、分解可能モデルの性質を、方針・構造・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2019年6月 論述問題 問1【解答例・解説】

一元配置分散分析がテーマ。モデルの識別可能性・分散分析表の作成・対比の検定・多重比較の落とし穴を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 論述問題 問3【解答例・解説】

欠測データ・MAR・回帰代入法がテーマ。MAR条件のもとでの回帰係数の不偏性の証明と、回帰代入後の平均の不偏性および回帰係数の不変性を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 論述問題 問2【解答例・解説】

ベイズ推定・事後分布がテーマ。二項モデルとベータ事前分布の共役性を示すMAP推定量の導出と、正規モデルでの事後分布の計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2021年6月 論述問題 問1【解答例・解説】

ランダムウォーク・マルコフ性・マルチンゲールがテーマ。3つの確率過程のマルコフ性とマルチンゲール性を条件付き期待値の計算で判定する論述問題を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2016年6月 論述問題 問1【解答例・解説】

ポアソン分布への適合度検定がテーマ。台風の上陸回数データを用いてポアソン分布の当てはまりをχ²検定で検証し、カテゴリ統合の判断を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 論述問題 問3【解答例・解説】

オッズ比・ロジスティック回帰・シンプソンのパラドックスがテーマ。性別層別の2×2分割表から信頼区間を求め、ロジスティック回帰の係数を解釈し、交互作用の意味を考察する問題を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 論述問題 問2【解答例・解説】

対数線形回帰と弾性率がテーマ。モデル選択・仮説検証・制約付き回帰係数のt検定を、方針・計算・答えの3ステップで解説します。オーケストラ収入データを題材に、AICと自由度調整済み決定係数の使い方も確認できます。

記事を読む →
統計学

【統計検定準1級】2015年6月 論述問題 問1【解答例・解説】

マルコフ連鎖・メトロポリス法がテーマ。遷移確率行列の構成・1ステップ後の分布計算・定常分布の確認を、方針・計算・答えの3ステップで解説します。(2015年6月論述問1)

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問16【解答例・解説】

主成分分析がテーマ。寄与率による主成分の選択基準と、固有ベクトルを用いた主成分得点の計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問15【解答例・解説】

重回帰モデル選択と予測値計算がテーマ。自由度調整済み決定係数・F値のP値によるモデル選択と、選択モデルを使った予測値の計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問14【解答例・解説】

モンテカルロ法による円周率推定がテーマ。二項分布・積分を使った2通りの推定量の期待値・分散・標準偏差を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問13【解答例・解説】

ベータ分布と共役事前分布がテーマ。二項分布の共役事前分布としてのベータ分布を用いた事後分布の導出と、MAP推定(最頻値)の計算を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

独立性検定とオッズ比

2×2のクロス集計表を例に、独立性検定(カイ二乗検定)とオッズ比の役割の違いを整理。オッズ比の95%信頼区間の求め方と解釈も解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問12【解答例・解説】

カイ二乗検定とオッズ比の信頼区間がテーマ。2×2クロス集計表を用いた独立性の検定と、サンプルサイズ変化による統計量・信頼区間への影響を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問11【解答例・解説】

直交計画(L8直交表)がテーマ。4因子2水準の実験配置の構成と、直交計画の性質に関する正誤問題を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問10【解答例・解説】

自己回帰モデル(AR(1))とDW統計量がテーマ。自己回帰係数の大きさとグラフの形状の対応、DW統計量の性質と最小二乗推定量の偏りについて、方針・考察・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問9【解答例・解説】

対数線形回帰モデル(log-linear model)がテーマ。対数変換後の線形モデルから元のYの条件付き期待値を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問8【解答例・解説】

2変量正規分布の相関係数・差の標準偏差・条件付き期待値がテーマ。分散加法性と共分散を使った3つの小問を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

共分散・分散の公式と記号一覧|期待値・標準偏差・相関係数も整理

共分散Cov[X,Y]や分散V[X]の公式・記号を一覧で確認。期待値、標準偏差、相関係数の定義と、混同しやすい違いを数式で整理します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問7【解答例・解説】

片側t検定と正規分布の分位点がテーマ。標本平均から母平均の仮説検定を行い、目標重量を満たす平均設定値を求める問題を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問6【解答例・解説】

欠測データによる選択バイアスと回帰を用いた補完推定がテーマ。平均・相関係数の過大・過小評価の方向と、回帰値を使った推定の性質を、方針・考察・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問5【解答例・解説】

集落抽出法(クラスター抽出法)がテーマ。単純無作為・層別・集落・多段の4つの抽出法の違いを整理し、集落抽出法に該当する選択肢を方針・識別・答えの3ステップで解説します。

記事を読む →
統計学

確率分布まとめ | 期待値・分散・モーメント母関数の導出、定義や覚えておきたい性質を解説

二項分布・ポアソン分布・正規分布・ベータ分布について、期待値・分散・モーメント母関数の導出過程と定義、覚えておきたい性質をまとめて解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問4【解答例・解説】

正規分布と偏差値・四分位範囲・条件付き期待値がテーマ。得点の標準化から始まり、確率・四分位範囲・切断正規分布の期待値を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問3【解答例・解説】

母比率の信頼区間と必要サンプルサイズがテーマ。標本比率の正規近似を用いた95%信頼区間の計算と、区間幅を指定した場合の必要標本数の導出を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

条件付き確率とベイズの定理

条件付き確率の定義式からベイズの定理の導出・直感的な意味までを順番に解説。機械学習や医療診断など、実際に役立つ場面も紹介します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問2【解答例・解説】

二項分布と抜き取り検査(生産者危険・消費者危険)がテーマ。不良品数の確率計算から生産者危険・消費者危険の算出を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

【統計検定準1級】2015年6月 選択問題及び部分記述問題 問1【解答例・解説】

条件付き確率・ベイズの定理がテーマ。男女別合格率から大学全体の合格率と、合格者が女子である事後確率を、方針・計算・答えの3ステップで解説します。

記事を読む →
統計学

統計検定準1級の過去問解説まとめ|2015〜2021年の全問と独学ロードマップ

統計検定準1級の過去問(2015〜2021年)を年度・問題番号別に一覧化。各問の解答例と解説へ進めます。試験概要とCBTでの使い方も整理。

記事を読む →
データサイエンス

【データ探索】Pythonで学ぶ!データ探索の基本と実践テクニック徹底解説

前回の記事では、データ観察の方法について解説しました。データ観察が一通り完了したら、続いてはデータ探索を実施しましょう。

記事を読む →
データサイエンス

【データ観察】データ観察の流れを5つのステップに分けて解説!

データサイエンスや機械学習を始めたばかりの人にとって、「まずデータをどうやって見ればいいの?」という疑問はよくありますよね。

記事を読む →
データサイエンス

面白いオープンデータ10選|CSVの入手先とデータ分析の練習例

CSVで入手できる面白いオープンデータ・公開データセット10選。気象・人口・CO₂などの配布先、登録の要否、分析例を紹介します。

記事を読む →
データサイエンス

データ分析の流れを5つのステップに分けて解説! ビジネス活用のための5つのステップ

データ分析を始めたいけれど、「どこから手をつければいいのか分からない」「分析の流れがつかめない」という悩みを持つ人は多いと思います。本記事では、データ分析の一般的な流れを 5つのステップ に分けて解説します。

記事を読む →
データサイエンス

2値分類タスクに用いる評価指標を理解しよう!適合率・再現率・AUCなどについて解説

機械学習分野において、予測結果を2値(0, 1)で出力するようなタスクが扱われるケースがよくあります。この記事では、そんな2値分類タスクに用いられる代表的な評価指標をご紹介します。

記事を読む →
データサイエンス

Dataiku(データイク)とは?概要や特徴、活用事例について解説

この記事では、Dataiku(データイク)の概要・特徴・活用事例についてご紹介します。Dataikuの概要 Dataikuとは、データ分析および機械学習のプロセスを効率化する統合プラットフォームです。

記事を読む →
データサイエンス

データサイエンス入門

データサイエンスに興味を持ち始めた初心者の方に向けて、分かりやすく解説しますので、ぜひ最後まで読んでみてください!データサイエンスとは?

記事を読む →
統計学

カイ二乗検定とは何か?

カイ二乗検定は、統計学で広く使用される手法で、観察データが期待値とどれだけ一致しているかを評価するためのものです。特に、カテゴリデータ(名義尺度データ)を扱う際に有用です。

記事を読む →