なかなかつながらなくて調べたのでメモ。未検証も含む

接続先Wifiが分離モードになっていないか

分離モード(呼び名は色々ある)になっているとつながらなそう

WPAの世代が古くないか

古い親機でWPAが昔のタイプだとセキュリティが弱いのでそのままだとつながらない

WiFiClient wifiClient;WiFi.enableInsecureWEP(true)

してやるかそれでもダメな場合はESP8266のライブラリをver.2.0.0まで戻す。

esp-touchでブロードキャスト、マルチキャストを変更してみる

スマホアプリ側でブロードキャスト、マルチキャストを変更してみる。理由はわからないがこれで動いた。

ESP8266(ESP-WROOM-02)の内容。ESP-WROOM-32ではないので注意。

コマンドプロンプトにて

cd C:\Users\kitam\Documents\ArduinoData\packages\esp8266\hardware\esp8266\3.1.2\libraries\ESP8266WiFi\examples\BearSSL_CertStore
python certs-from-mozilla.py

足りないメッセージが出た。

Traceback (most recent call last):
  File "C:\Users\kitam\Documents\ArduinoData\packages\esp8266\hardware\esp8266\3.1.2\libraries\ESP8266WiFi\examples\BearSSL_CertStore\certs-from-mozilla.py", line 28, in <module>
    raise Exception("You need the program 'ar' from xtensa-lx106-elf found here: (esp8266-arduino-core)/hardware/esp8266com/esp8266/tools/xtensa-lx106-elf/xtensa-lx106-elf/bin/ar")
Exception: You need the program 'ar' from xtensa-lx106-elf found here: (esp8266-arduino-core)/hardware/esp8266com/esp8266/tools/xtensa-lx106-elf/xtensa-lx106-elf/bin/ar

ar.exeのコピー

メッセージとパスがだいぶ違うけど下にいた。microsoftストアから入れると触れないところにあるかも。

C:\Users\kitam\AppData\Local\Arduino15\packages\esp8266\tools\xtensa-lx106-elf-gcc\3.1.0-gcc10.3-e5f9fec\xtensa-lx106-elf\bin

if which('ar') is None and not os.path.isfile('./ar') and not os.path.isfile('./ar.exe'):

公式のexampleフォルダの中で作業したくないので、exampleのBearSSL_CertStore.inoをとりあえずデスクトップに保存。　デスクトップに作ったフォルダにar.exeを保存

C:\Users\kitam\Desktop\BearSSL_CertStore>dir
 ドライブ C のボリューム ラベルがありません。
 ボリューム シリアル番号は C449-20E0 です

 C:\Users\kitam\Desktop\BearSSL_CertStore のディレクトリ

2024/02/29  13:07    <DIR>          .
2024/02/28  21:25    <DIR>          ..
2024/02/20  18:35         1,245,184 ar.exe
2024/02/20  18:35             5,206 BearSSL_CertStore.ino
2024/02/20  18:35             2,697 certs-from-mozilla.py

opensslのインストール

実行したら、opensslもいると

C:\Users\kitam\Documents\ArduinoData\packages\esp8266\hardware\esp8266\3.1.2\libraries\ESP8266WiFi\examples\BearSSL_CertStore>cd C:\Users\kitam\Desktop\BearSSL_CertStore

C:\Users\kitam\Desktop\BearSSL_CertStore>python certs-from-mozilla.py
Traceback (most recent call last):
File “C:\Users\kitam\Desktop\BearSSL_CertStore\certs-from-mozilla.py”, line 30, in
raise Exception(“You need to have openssl in PATH, installable from https://www.openssl.org/”)
Exception: You need to have openssl in PATH, installable from https://www.openssl.org/

メッセージにあるURLにwindowsのバイナリなかったのでこちらから落とす。とりあえず最新の3.2.1のexe。

ダブルクリックしてインストール。path通すと他のツール類と重なりそうなのでとりあえずパスの設定は一時的。

C:\Users\kitam\Desktop\BearSSL_CertStore>set PATH=%PATH%;C:\Program Files\OpenSSL-Win64\bin

C:\Users\kitam\Desktop\BearSSL_CertStore>openssl -version
OpenSSL 3.2.1 30 Jan 2024 (Library: OpenSSL 3.2.1 30 Jan 2024)

pythonの動作文字コード一時変更

一見動いてそうに見えたけどエラー出ている

C:\Users\kitam\Desktop\BearSSL_CertStore>python certs-from-mozilla.py > out.txt
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Traceback (most recent call last):
  File "C:\Users\kitam\Desktop\BearSSL_CertStore\certs-from-mozilla.py", line 64, in <module>
    print(names[i] + " -> " + certName)
UnicodeEncodeError: 'cp932' codec can't encode character '\xf3' in position 24: illegal multibyte sequence

 C:\Users\kitam\Desktop\BearSSL_CertStore\data のディレクトリ

2024/02/29  13:54    <DIR>          .
2024/02/29  13:54    <DIR>          ..
2024/02/29  13:54             1,463 ca_000.der
2024/02/29  13:54               837 ca_001.der
2024/02/29  13:54             1,349 ca_002.der
2024/02/29  13:54               442 ca_003.der
2024/02/29  13:54               502 ca_004.der
2024/02/29  13:54             1,011 ca_005.der
2024/02/29  13:54               784 ca_006.der
2024/02/29  13:54               617 ca_007.der
2024/02/29  13:54               959 ca_008.der
2024/02/29  13:54             1,494 ca_009.der
2024/02/29  13:54             1,476 ca_010.der
2024/02/29  13:54             1,560 ca_011.der
2024/02/29  13:54             1,523 ca_012.der
              13 個のファイル              14,017 バイト
               2 個のディレクトリ  21,649,969,152 バイトの空き領域

data/certs.arというファイルが一つできるはずだが中間ファイルの生成途中で終わっている。

pythoの文字コードを一時UTF8に。

C:\Users\kitam\Desktop\BearSSL_CertStore>set PYTHONUTF8=1

改めて実行。

C:\Users\kitam\Desktop\BearSSL_CertStore>python certs-from-mozilla.py > out.txt
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
Warning: Reading certificate from stdin since no -in or -new option is given
（途中省略、中間ファイルごとに上の行がでる。合計50行ぐらい）

C:\Users\kitam\Desktop\BearSSL_CertStore>dir data
 ドライブ C のボリューム ラベルがありません。
 ボリューム シリアル番号は C449-20E0 です

 C:\Users\kitam\Desktop\BearSSL_CertStore\data のディレクトリ

2024/02/29  14:00    <DIR>          .
2024/02/29  14:00    <DIR>          ..
2024/02/29  14:00           189,714 certs.ar
               1 個のファイル             189,714 バイト
               2 個のディレクトリ  21,636,599,808 バイトの空き領域

できた模様。

アップロードの手順はこちら。

ESP8266(ESP-WROOM-02)の内容。ESP-WROOM-32ではないので注意。

こちらのBearSSL_Validation.ino事前準備の手順。試している環境はWindows11。

前提

BearSSL_Validation.inoと同じディレクトリにあるcerts.hだが、サーバ側の証明書が更新されているとつながらなかったりする。（レポジトリ側の更新タイミング次第ではつながったりつながらなかったりだと思う）

certs.hを見ると下のように書いてあり

// this file is autogenerated - any modification will be overwritten
// unused symbols will not be linked in the final binary
// generated on 2023-03-20 23:02:42
// by ['../../../../tools/cert.py', '-s', 'www.example.com', '-n', 'SSL']

../../../../tools/cert.py', '-s', 'www.example.com', '-n', 'SSL'

して更新するらしい。他のドメイン用に作る場合もおそらくcert.pyをたたけばよいと思う。

なお、cert.pyのファイル先頭コメント

#!/usr/bin/env python3

# Script to download/update certificates and public keys
# and generate compilable source files for c++/Arduino.
# released to public domain

Windowsのはまりポイント

WindowsでMS Storeからインストールするとツールは見れない場所にありそう。（MS Storeから入れたソフト類のディレクトリは見れない模様）インストーラー直ダウンロードしたIDE場合多分下みたいな配置。

C:\Users\hoge\Documents\ArduinoData\packages\esp8266\hardware\esp8266\3.1.2\libraries\ESP8266WiFi\examples\BearSSL_Validation

だと下にある

C:\Users\hoge\Documents\ArduinoData\packages\esp8266\hardware\esp8266\3.1.2\tools

MS Storeからインストールして見れない人は、レポジトリのソース一式ダウンロードしたら多分中に入っているcert.pyを使える。

環境構築

cert.pyはpython3なので必要ならインストール。

ライブラリインストール

pip install cryptography

ないと下みたいなメッセージ

python  '../../../../tools/cert.py' '-s' 'www.example.com' '-n' 'SSL'                            
Traceback (most recent call last):
  File "C:\Users\kitam\Documents\ArduinoData\packages\esp8266\hardware\esp8266\3.1.2\tools\cert.py", line 15, in <module>
    from cryptography import x509
ModuleNotFoundError: No module named 'cryptography'

もしかしたら

pip install urllib

もいるかも。

import re
import ssl
import sys
import socket
import argparse
import datetime

あたりは元々使えると思うけど必要ならそいつらも

証明書生成実行

cd C:\Users\kitam\Documents\ArduinoData\packages\esp8266\hardware\esp8266\3.1.2\libraries\ESP8266WiFi\examples\BearSSL_Validation
python  '../../../../tools/cert.py' '-s' 'www.example.com' '-n' 'SSL' > test.h

パスにユーザ名入っているので適宜書き換え。

出力ファイル名(test.h)も適宜書き換え

結果

PS C:\Users\kitam\Documents\ArduinoData\packages\esp8266\hardware\esp8266\3.1.2\libraries\ESP8266WiFi\examples\BearSSL_Validation> python  '../../../../tools/cert.py' '-s' 'www.example.com' '-n' 'SSL' > test.h
C:\Users\kitam\Documents\ArduinoData\packages\esp8266\hardware\esp8266\3.1.2\tools\cert.py:44: CryptographyDeprecationWarning: Properties that return a naïve datetime object have been deprecated. Please switch to not_valid_before_utc.
  print('// not valid before:', xcert.not_valid_before)
C:\Users\kitam\Documents\ArduinoData\packages\esp8266\hardware\esp8266\3.1.2\tools\cert.py:45: CryptographyDeprecationWarning: Properties that return a naïve datetime object have been deprecated. Please switch to not_valid_after_utc.
  print('// not valid after: ', xcert.not_valid_after)

なんか余計な警告出ているけどchatgpt先生によると以下らしいのでとりあえず無視

この警告は、Cryptography ライブラリが提供する一部の機能において、適切なタイムゾーン情報が欠如している（naïveな）datetimeオブジェクトを返すプロパティが非推奨であることを示しています。代わりに、not_valid_before_utcというプロパティを使用することが推奨されています。

ino修正

修正目的

ExampleのBearSSL_Validation.inoを任意フォルダ（今回はデスクトップ）に保存。

その後、cert.hの中身を先ほど出力したtest.hに変更

そのまま実行すると

C:\Users\kitam\Desktop\BearSSL_Validation\BearSSL_Validation.ino: In function 'void fetchCertAuthority()':
C:\Users\kitam\Desktop\BearSSL_Validation\BearSSL_Validation.ino:15:14: error: 'cert_DigiCert_TLS_RSA_SHA256_2020_CA1' was not declared in this scope; did you mean 'cert_DigiCert_Global_G2_TLS_RSA_SHA256_2020_CA1'?
   15 | #define CERT cert_DigiCert_TLS_RSA_SHA256_2020_CA1
      |              ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
C:\Users\kitam\Desktop\BearSSL_Validation\BearSSL_Validation.ino:15:14: note: in definition of macro 'CERT'
   15 | #define CERT cert_DigiCert_TLS_RSA_SHA256_2020_CA1
      |              ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

exit status 1

Compilation error: 'cert_DigiCert_TLS_RSA_SHA256_2020_CA1' was not declared in this scope; did you mean 'cert_DigiCert_Global_G2_TLS_RSA_SHA256_2020_CA1'?

出力されたtest.hにあるcert_DigiCert_Global_G2_TLS_RSA_SHA256_2020_CA1が元ヘッダーファイルにあったcert_DigiCert_TLS_RSA_SHA256_2020_CA1から変わっている。ちなみに、cert_DigiCert_Global_Root_G2とcert_DigiCert_Global_Root_CAも変わっている。

証明書のCNからcert.pyで自動命名しているのでしょうがない。

name = re.sub('[^a-zA-Z0-9_]', '_', cn)

長期運用するならcert.pyをいじるか出てきたヘッダーの命名を書き換えて固定にした方が良いかも。深く考えないで取り急ぎinoの方を修正する。（15行目）

#define CERT cert_DigiCert_Global_G2_TLS_RSA_SHA256_2020_CA1

動作確認は元のページで

ESP8266(ESP-WROOM-02)の内容。ESP-WROOM-32ではないのでがおおよそ同じと思う。

現象

ESP8266のWiFiClientSecureでサーバからデータを取得しようとした。本来レスポンスの本体(ペイロード本文)は”[0]“を期待していたが以下の下３行のようにレスポンスが期待していたものと違う形になっていた。

Connecting to https://hoge.co.jp/api/fuga
Connected to server
Server: nginx
Date: Wed, 21 Feb 2024 05:21:47 GMT
Content-Type: text/html
Transfer-Encoding: chunked
Connection: close

3
[0]
0

理由

これはTransfer-Encoding: chunkedになっていてペイロード本文が

データ1のバイト数\r\nデータ1\r\n0\r\n

というフォーマットになっているため。長いもの送る場合は

データ1のバイト数\r\nデータ1\r\nデータ2のバイト数\r\nデータ2\r\n…データxのバイト数\r\nデータx\r\n…0\r\n

となる。なおデータのバイト数は16 進数表記。

対処

その１

対処としてそういうものとして読み込んでもよいけど、マルチバイトの場合データ1,2の間でぶった切られるのでつなげるのとか面倒。

その２

可能ならサーバ側で送る際にTransfer-Encoding: chunkedじゃなくしたい。

今回はサーバ側はpythonのBaseHTTPRequestHandlerを使っているがレスポンスにContent-Lengthをつけてやれば自動でTransfer-Encoding: chunkedじゃなくなった。「とりあえず、Content-Lengthついてないからchunkedでおくとっくわ」という仕様だったっぽい。（明示的にヘッダー付けた場合に消えるかは未確認）

from http.server import BaseHTTPRequestHandler, HTTPServer
from reserve_count import reserve_count
import urllib.parse

class MyHandler(BaseHTTPRequestHandler):
    def do_GET(self):
        parsed_path = urllib.parse.urlparse(self.path)
        query_params = urllib.parse.parse_qs(parsed_path.query)


        if parsed_path.path == '/api/reserve_count':
            response_content = "ほげ".encode('utf-8')
            self.send_response(200)
            self.send_header('Content-type', 'text/html')
            self.send_header('Content-Length', len(response_content))
            self.end_headers()

http1.1の仕様的にはTransfer-Encoding: chunkedの時にはContent-Length不要らしい。