设置 1:不使用专用 GCC 编译自己的 glibc 并使用它
该设置可能有效并且很快,因为它不需要重新编译整个 GCC 工具链,只需要 glibc。
但它并不可靠,因为它使用主机 C 运行时对象,例如 crt1.o
, crti.o
, crtn.o
并由 glibc 提供。这在以下位置提到: https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location ?action=recall&rev=21#Compile_against_glibc_in_an_installed_location 这些对象执行 glibc 所依赖的早期设置,因此如果事情以奇妙而微妙的方式崩溃,我不会感到惊讶。
如需更可靠的设置,请参见下面的设置 2。
构建 glibc 并在本地安装:
export glibc_install="$(pwd)/glibc/build/install"
git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28
mkdir build
cd build
../configure --prefix "$glibc_install"
make -j `nproc`
make install -j `nproc`
设置 1:验证构建
测试_glibc
#define _GNU_SOURCE
#include <assert.h>
#include <gnu/libc-version.h>
#include <stdatomic.h>
#include <stdio.h>
#include <threads.h>
atomic_int acnt;
int cnt;
int f(void* thr_data) {
for(int n = 0; n < 1000; ++n) {
++cnt;
++acnt;
}
return 0;
}
int main(int argc, char **argv) {
/* Basic library version check. */
printf("gnu_get_libc_version() = %s\n", gnu_get_libc_version());
/* Exercise thrd_create from -pthread,
* which is not present in glibc 2.27 in Ubuntu 18.04.
* https://.com/questions/56810/how-do-i-start-threads-in-plain-c/52453291#52453291 */
thrd_t thr[10];
for(int n = 0; n < 10; ++n)
thrd_create(&thr[n], f, NULL);
for(int n = 0; n < 10; ++n)
thrd_join(thr[n], NULL);
printf("The atomic counter is %u\n", acnt);
printf("The non-atomic counter is %u\n", cnt);
}
编译并运行 test_glibc.sh
:
#!/usr/bin/env bash
set -eux
gcc \
-L "${glibc_install}/lib" \
-I "${glibc_install}/include" \
-Wl,--rpath="${glibc_install}/lib" \
-Wl,--dynamic-linker="${glibc_install}/lib/ld-linux-x86-64.so.2" \
-std=c11 \
-o test_glibc.out \
-v \
test_glibc.c \
-pthread \
;
ldd ./test_glibc.out
./test_glibc.out
该程序输出预期的内容:
gnu_get_libc_version() = 2.28
The atomic counter is 10000
The non-atomic counter is 8674
命令改编自 https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location ,但 --sysroot
导致失败:
cannot find /home/ciro/glibc/build/install/lib/libc.so.6 inside /home/ciro/glibc/build/install
所以我把它删除了。
ldd
输出确认 ldd
我们刚刚构建的和库确实正在按预期使用:
+ ldd test_glibc.out
linux-vdso.so.1 (0x00007ffe4bfd3000)
libpthread.so.0 => /home/ciro/glibc/build/install/lib/libpthread.so.0 (0x00007fc12ed92000)
libc.so.6 => /home/ciro/glibc/build/install/lib/libc.so.6 (0x00007fc12e9dc000)
/home/ciro/glibc/build/install/lib/ld-linux-x86-64.so.2 => /lib64/ld-linux-x86-64.so.2 (0x00007fc12f1b3000)
编译 gcc
调试输出显示我的主机运行时对象已被使用,这正如前面提到的那样很糟糕,但我不知道如何解决它,例如它包含:
COLLECT_GCC_OPTIONS=/usr/lib/gcc/x86_64-linux-gnu/7/../../../x86_64-linux-gnu/crt1.o
设置1:修改glibc
现在让我们修改 glibc:
diff --git a/nptl/thrd_create.c b/nptl/thrd_create.c
index 113ba0d93e..b00f088abb 100644
--- a/nptl/thrd_create.c
+++ b/nptl/thrd_create.c
@@ -16,11 +16,14 @@
License along with the GNU C Library; if not, see
<http://www.gnu.org/licenses/>. */
+#include <stdio.h>
+
#include "thrd_priv.h"
int
thrd_create (thrd_t *thr, thrd_start_t func, void *arg)
{
+ puts("hacked");
_Static_assert (sizeof (thr) == sizeof (pthread_t),
"sizeof (thr) != sizeof (pthread_t)");
然后重新编译并重新安装 glibc,并重新编译并重新运行我们的程序:
cd glibc/build
make -j `nproc`
make -j `nproc` install
./test_glibc.sh
我们看到了 hacked
预期打印的几次。
这进一步证实了我们实际上使用的是自己编译的glibc,而不是主机的glibc。
在 Ubuntu 18.04 上测试。
设置 2:crosstool-NG 原始设置
这是设置 1 的替代方案,也是我迄今为止实现的最正确的设置:据我观察,一切都是正确的,包括 C 运行时对象,例如 crt1.o
, crti.o
,和 crtn.o
.
在此设置中,我们将编译使用我们想要的 glibc 的完整专用 GCC 工具链。
这种方法的唯一缺点是构建时间会更长。但我不会冒险使用更短的方法来设置生产环境。
crosstool-NG 是一组脚本,它可以为我们从源代码下载并编译所有内容,包括 GCC、glibc 和 binutils。
是的,GCC 构建系统太糟糕了,我们需要为此建立一个单独的项目。
此设置并不完美,因为 crosstool-NG does not support building the executables without extra -Wl
flags ,这感觉很奇怪,因为我们已经构建了 GCC 本身。但一切似乎都正常,所以这只是一个不便之处。
获取 crosstool-NG,配置并构建它:
git clone https://github.com/crosstool-ng/crosstool-ng
cd crosstool-ng
git checkout a6580b8e8b55345a5a342b5bd96e42c83e640ac5
export CT_PREFIX="$(pwd)/.build/install"
export PATH="/usr/lib/ccache:${PATH}"
./bootstrap
./configure --enable-local
make -j `nproc`
./ct-ng x86_64-unknown-linux-gnu
./ct-ng menuconfig
env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`
构建过程大约需要三十分钟到两个小时。
我能看到的唯一强制配置选项是使其与您的主机内核版本匹配以使用正确的内核头。使用以下命令查找您的主机内核版本:
uname -a
它向我展示了:
4.15.0-34-generic
所以 menuconfig
我这样做:
所以我选择:
4.14.71
这是第一个相同或更旧的版本。它必须是较旧的版本,因为内核是向后兼容的。
设置 2:可选配置
我们 .config
生成的 ./ct-ng x86_64-unknown-linux-gnu
有:
CT_GLIBC_V_2_27=y
要改变这种情况,请 menuconfig
执行以下操作:
-
C-library
-
Version of glibc
保存 .config
并继续构建。
或者,如果您想使用自己的 glibc 源,例如使用最新 git 中的 glibc,请 按如下方式 :
-
Paths and misc options
-
Try features marked as EXPERIMENTAL
:设置为 true
-
C-library
-
Source of glibc
-
Custom location
:说是的
-
Custom location
-
Custom source location
:指向包含 glibc 源的目录
其中 glibc 被克隆为:
git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28
设置 2:测试一下
构建所需的工具链后,请使用以下命令进行测试:
#!/usr/bin/env bash
set -eux
install_dir="${CT_PREFIX}/x86_64-unknown-linux-gnu"
PATH="${PATH}:${install_dir}/bin" \
x86_64-unknown-linux-gnu-gcc \
-Wl,--dynamic-linker="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib/ld-linux-x86-64.so.2" \
-Wl,--rpath="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib" \
-v \
-o test_glibc.out \
test_glibc.c \
-pthread \
;
ldd test_glibc.out
./test_glibc.out
一切似乎都按照设置 1 中的操作进行,只不过现在使用了正确的运行时对象:
COLLECT_GCC_OPTIONS=/home/ciro/crosstool-ng/.build/install/x86_64-unknown-linux-gnu/bin/../x86_64-unknown-linux-gnu/sysroot/usr/lib/../lib64/crt1.o
设置 2:失败的高效 glibc 重新编译尝试
使用 crosstool-NG 似乎是不可能的,如下所述。
如果您只是重建;
env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`
那么您对自定义 glibc 源位置的更改会被考虑在内,但它会从头开始构建所有内容,因此无法用于迭代开发。
如果我们这样做:
./ct-ng list-steps
它很好地概述了构建步骤:
Available build steps, in order:
- companion_tools_for_build
- companion_libs_for_build
- binutils_for_build
- companion_tools_for_host
- companion_libs_for_host
- binutils_for_host
- cc_core_pass_1
- kernel_headers
- libc_start_files
- cc_core_pass_2
- libc
- cc_for_build
- cc_for_host
- libc_post_cc
- companion_libs_for_target
- binutils_for_target
- debug
- test_suite
- finish
Use "<step>" as action to execute only that step.
Use "+<step>" as action to execute up to that step.
Use "<step>+" as action to execute from that step onward.
因此,我们看到 glibc 步骤与几个 GCC 步骤交织在一起,最明显的 libc_start_files
是在 之前 cc_core_pass_2
,这可能是最昂贵的步骤,与 cc_core_pass_1
.
为了仅构建一个步骤,您必须首先在 .config
初始构建选项中设置“保存中间步骤”:
然后你可以尝试:
env -u LD_LIBRARY_PATH time ./ct-ng libc+ -j`nproc`
但不幸的是, +
需要如上所述: https://github.com/crosstool-ng/crosstool-ng/issues/1033#issuecomment-424877536
但请注意,在中间步骤重新启动会将安装目录重置为该步骤期间的状态。即,您将拥有一个重建的 libc - 但没有使用此 libc 构建的最终编译器(因此,也没有像 libstdc++ 这样的编译器库)。
并且基本上仍然使得重建速度太慢而无法进行开发,并且我不知道如何在不修补 crosstool-NG 的情况下克服这个问题。
此外,从 libc
步骤开始似乎没有从再次复制源 Custom source location
,进一步使得该方法无法使用。
奖励:stdlibc++
如果您对 C++ 标准库也感兴趣,那么还有一个额外好处: 如何编辑和重新构建 GCC libstdc++ C++ 标准库源?